TensorFlow Extended (TFX) ist eine End-to-End-Plattform für die Bereitstellung von ML-Produktionspipelines
Wenn Sie bereit sind, Ihre Modelle von der Forschung in die Produktion zu verlagern, erstellen und verwalten Sie mit TFX eine Produktionspipeline.
Wie es funktioniert
Wenn Sie bereit sind, über das Training eines einzelnen Modells hinauszugehen oder Ihr fantastisches Modell in Betrieb zu nehmen und in die Produktion zu verlagern, hilft Ihnen TFX beim Aufbau einer vollständigen ML-Pipeline.
Eine TFX-Pipeline ist eine Folge von Komponenten, die eine ML-Pipeline implementieren, die speziell für skalierbare, leistungsstarke maschinelle Lernaufgaben entwickelt wurde. Dies umfasst das Modellieren, Trainieren, Bereitstellen von Inferenzen und das Verwalten von Bereitstellungen für Online-, native Mobil- und JavaScript-Ziele. Weitere Informationen finden Sie in unserem TFX-Benutzerhandbuch .
Die Pipeline-Komponenten werden mithilfe von TFX-Bibliotheken erstellt, die auch einzeln verwendet werden können. Unten finden Sie eine Übersicht über die zugrunde liegenden Bibliotheken.
TensorFlow-Datenvalidierung
TensorFlow Data Validation (TFDV) hilft Entwicklern, ihre ML-Daten in großem Maßstab zu verstehen, zu validieren und zu überwachen. TFDV wird täglich zur Analyse und Validierung von Petabytes an Daten bei Google verwendet und hat nachweislich dazu beigetragen, dass TFX-Benutzer den Zustand ihrer ML-Pipelines erhalten.
TensorFlow-Transformation
Bei der Anwendung von maschinellem Lernen auf reale Datensätze ist ein großer Aufwand erforderlich, um Daten in ein geeignetes Format vorzuverarbeiten. Dies umfasst das Konvertieren zwischen Formaten, das Tokenisieren und Stemmen von Text sowie das Erstellen von Vokabularen und das Ausführen einer Vielzahl numerischer Operationen wie der Normalisierung. Sie können alles mit tf.Transform tun.
TensorFlow-Modellanalyse
Mit TensorFlow Model Analysis (TFMA) können Entwickler Bewertungsmetriken für ihre Modelle berechnen und visualisieren. Vor der Bereitstellung eines ML-Modells (Machine Learning) müssen ML-Entwickler die Modellleistung bewerten, um sicherzustellen, dass sie bestimmte Qualitätsschwellenwerte erfüllt und sich für alle relevanten Datenbereiche wie erwartet verhält. Beispielsweise kann ein Modell über den gesamten Bewertungsdatensatz eine akzeptable AUC aufweisen, bei bestimmten Schichten jedoch eine Underperformance aufweisen. TFMA bietet Entwicklern die Tools, um ein tiefes Verständnis ihrer Modellleistung zu erlangen.
TensorFlow Serving
Systeme für maschinelles Lernen (ML) müssen die Modellversionierung (für Modellaktualisierungen mit einer Rollback-Option) und mehrere Modelle (für Experimente über A / B-Tests) unterstützen und gleichzeitig sicherstellen, dass gleichzeitige Modelle einen hohen Durchsatz auf Hardwarebeschleunigern (GPUs und TPUs) erzielen. mit geringer Latenz. TensorFlow Serving hat sich bei Google als leistungsfähig erwiesen, wenn es um zig Millionen Inferenzen pro Sekunde geht.
Lösungen für häufig auftretende Probleme
Entdecken Sie Schritt-für-Schritt-Anleitungen, die Sie bei Ihren Projekten unterstützen.
In diesem Handbuch wird ein neuronales Netzwerkmodell trainiert, um Bilder von Kleidung wie Turnschuhen und Hemden zu klassifizieren, das trainierte Modell zu speichern und es dann mit TensorFlow Serving bereitzustellen. Der Schwerpunkt liegt auf dem TensorFlow-Serving und nicht auf der Modellierung und Schulung in TensorFlow.
Eine Einführung in TensorFlow Extended (TFX) und Cloud AI Platform Pipelines zum Erstellen eigener Pipelines für maschinelles Lernen in Google Cloud. Folgen Sie einem typischen ML-Entwicklungsprozess, indem Sie zunächst den Datensatz untersuchen und eine vollständige Arbeitspipeline erstellen.
Erfahren Sie, wie TensorFlow Extended (TFX) maschinelle Lernmodelle erstellen und bewerten kann, die auf dem Gerät bereitgestellt werden. TFX bietet jetzt native Unterstützung für TFLite, wodurch hocheffiziente Inferenzen auf Mobilgeräten durchgeführt werden können.
Wie Unternehmen TFX einsetzen
Nachrichten & Ankündigungen
Weitere TFX-Inhalte finden Sie in unserem Blog und in der YouTube-Wiedergabeliste .
und abonnieren Sie unseren monatlichen TensorFlow-Newsletter
Die neuesten Ankündigungen werden direkt an Ihren Posteingang gesendet.
In diesem zweiteiligen Blog erfahren Sie, wie die Concur Labs von SAP die Bereitstellung von BERT-Modellen durch TensorFlow-Bibliotheken und -Erweiterungen vereinfacht haben.
Ankündigung des Beta-Starts von Cloud AI Platform Pipelines, einer unternehmensfähigen, einfach zu installierenden und sicheren Ausführungsumgebung für Ihre ML-Workflows.
Erfahren Sie, wie sich die Google Production ML-Plattform TFX im Jahr 2020 verändert. Sehen Sie sich einen spannenden Fall an, wie Airbus TFX verwendet.
Die Veröffentlichung von TensorFlow 2.0 brachte viele neue Funktionen und Verbesserungen, einschließlich einer engen Integration mit Keras. Erfahren Sie, wie TFX-Komponenten native Keras unterstützen.
Die Beteiligung der Gemeinschaft
Weitere Möglichkeiten zur Teilnahme an der TensorFlow-Community.