TensorFlow Extended (TFX) to kompleksowa platforma do wdrażania produkcyjnych potoków ML

TensorFlow Data Validation (TFDV) pomaga programistom zrozumieć, zweryfikować i monitorować dane ML na dużą skalę. TFDV jest używany do analizowania i sprawdzania poprawności petabajtów danych w Google każdego dnia i ma udokumentowane doświadczenie w pomaganiu użytkownikom TFX w utrzymywaniu kondycji ich potoków ML.

W przypadku stosowania uczenia maszynowego do rzeczywistych zestawów danych, wstępne przetwarzanie danych do odpowiedniego formatu wymaga wiele wysiłku. Obejmuje to konwersję między formatami, tokenizację i podstawianie tekstu oraz tworzenie słowników i wykonywanie różnych operacji numerycznych, takich jak normalizacja. Możesz to wszystko zrobić dzięki tf.Transform.

Analiza modelu TensorFlow (TFMA) umożliwia programistom obliczanie i wizualizację metryk oceny dla ich modeli. Przed wdrożeniem dowolnego modelu uczenia maszynowego (ML) programiści ML muszą ocenić wydajność modelu, aby upewnić się, że spełnia on określone progi jakości i zachowuje się zgodnie z oczekiwaniami dla wszystkich odpowiednich fragmentów danych. Na przykład model może mieć akceptowalną wartość AUC w całym zbiorze danych ewaluacyjnych, ale słabszą na określonych wycinkach. TFMA daje programistom narzędzia do głębokiego zrozumienia wydajności ich modeli.

Systemy obsługujące uczenie maszynowe (ML) muszą obsługiwać wersje modeli (w przypadku aktualizacji modeli z opcją wycofywania) i wielu modeli (w celu eksperymentowania za pośrednictwem testów A / B), zapewniając jednocześnie, że współbieżne modele osiągają wysoką przepustowość na akceleratorach sprzętowych (GPU i TPU) z małym opóźnieniem. Usługa TensorFlow Serving sprawdziła się w Google, obsługując dziesiątki milionów wniosków na sekundę.