TensorFlow Extended (TFX) - это комплексная платформа для развертывания производственных трубопроводов ML.
Когда вы будете готовы перенести свои модели из исследования в производство, используйте TFX для создания и управления производственным конвейером.
Как это устроено
Когда вы готовы пойти дальше обучения отдельной модели или готовы применить свою удивительную модель и перевести ее в производство, TFX поможет вам построить законченный конвейер ML.
Конвейер TFX - это последовательность компонентов, которые реализуют конвейер ML, который специально разработан для масштабируемых, высокопроизводительных задач машинного обучения. Это включает в себя моделирование, обучение, вывод на обслуживание и управление развертываниями для онлайн, собственных мобильных устройств и целей JavaScript. Чтобы узнать больше, прочитайте наше Руководство пользователя TFX .
Компоненты конвейера создаются с использованием библиотек TFX, которые также можно использовать по отдельности. Ниже приведен обзор этих базовых библиотек.
Проверка данных TensorFlow
TensorFlow Data Validation (TFDV) помогает разработчикам понимать, проверять и контролировать свои данные ML в масштабе. TFDV используется для анализа и проверки петабайт данных в Google каждый день, и имеет проверенный послужной список, помогающий пользователям TFX поддерживать работоспособность своих конвейеров ML.
TensorFlow Transform
При применении машинного обучения к реальным наборам данных требуется много усилий для предварительной обработки данных в подходящий формат. Это включает в себя конвертацию между форматами, токенизацию и формирование текста и формирование словарей, а также выполнение различных числовых операций, таких как нормализация. Вы можете сделать все это с помощью tf.Transform.
Анализ модели TensorFlow
TensorFlow Model Analysis (TFMA) позволяет разработчикам вычислять и визуализировать показатели оценки для своих моделей. Перед развертыванием любой модели машинного обучения (ML) разработчики ML должны оценить производительность модели, чтобы убедиться, что она соответствует определенным порогам качества и ведет себя, как ожидается, для всех соответствующих сегментов данных. Например, модель может иметь приемлемый AUC по всему набору данных eval, но хуже по конкретным срезам. TFMA предоставляет разработчикам инструменты для глубокого понимания производительности их моделей.
TensorFlow Serving
Обслуживающие системы машинного обучения (ML) должны поддерживать управление версиями моделей (для обновлений моделей с опцией отката) и несколько моделей (для экспериментов с использованием A / B-тестирования), обеспечивая при этом одновременную работу моделей с высокой пропускной способностью на аппаратных ускорителях (графических процессорах и TPU). с низкой задержкой. TensorFlow Serving доказал свою производительность, обрабатывая десятки миллионов выводов в секунду в Google.
Решения общих проблем
Изучите пошаговые руководства, которые помогут вам в ваших проектах.
Это руководство обучает модель нейронной сети для классификации изображений одежды, таких как кроссовки и рубашки, сохраняет обученную модель, а затем передает ее с помощью TensorFlow Serving. Основное внимание уделяется обслуживанию TensorFlow, а не моделированию и обучению в TensorFlow.
Введение в TensorFlow Extended (TFX) и Cloud AI Platform Pipelines для создания собственных конвейеров машинного обучения в Google Cloud. Следуйте типичному процессу разработки ML, начиная с изучения набора данных и заканчивая полным рабочим конвейером.
Узнайте, как TensorFlow Extended (TFX) может создавать и оценивать модели машинного обучения, которые будут развернуты на устройстве. TFX теперь обеспечивает встроенную поддержку TFLite, что позволяет выполнять высокоэффективный вывод на мобильных устройствах.
Как компании используют TFX
Новости и объявления
Проверьте наш блог и плейлист YouTube для дополнительного контента TFX,
и подпишитесь на нашу ежемесячную рассылку TensorFlow, чтобы получать
последние объявления отправляются прямо на Ваш почтовый ящик.
Узнайте, как Concur Labs от SAP упростили развертывание моделей BERT с помощью библиотек и расширений TensorFlow в этом блоге из двух частей.
Объявление о бета-запуске Cloud AI Platform Pipelines, готовой к установке, простой в установке и безопасной среде исполнения для ваших рабочих процессов ML.
Узнайте, как в 2020 году меняется производственная платформа Google TFX. Посмотрите захватывающий пример того, как Airbus использует TFX.
Выпуск TensorFlow 2.0 принес много новых функций и улучшений, включая тесную интеграцию с Keras. Узнайте, как компоненты TFX поддерживают собственные Keras.