TensorFlow Extended (TFX) - это комплексная платформа для развертывания производственных конвейеров машинного обучения.
Когда вы будете готовы перейти от исследований к производству моделей, используйте TFX для создания производственного конвейера и управления им.
Как это устроено
Когда вы готовы выйти за рамки обучения одной модели или готовы применить свою потрясающую модель в работе и перенести ее в производство, TFX поможет вам создать полный конвейер машинного обучения.
Конвейер TFX - это последовательность компонентов, реализующих конвейер машинного обучения, специально разработанный для масштабируемых высокопроизводительных задач машинного обучения. Это включает в себя моделирование, обучение, обслуживание логических выводов и управление развертыванием в интерактивных, собственных мобильных и JavaScript-целях. Чтобы узнать больше, прочтите наше Руководство пользователя TFX .
Компоненты конвейера построены с использованием библиотек TFX, которые также можно использовать по отдельности. Ниже представлен обзор этих базовых библиотек.
Проверка данных TensorFlow
TensorFlow Data Validation (TFDV) помогает разработчикам понимать, проверять и контролировать свои данные машинного обучения в любом масштабе. TFDV используется для ежедневного анализа и проверки петабайт данных в Google и имеет подтвержденный опыт оказания помощи пользователям TFX в поддержании работоспособности своих конвейеров машинного обучения.
Преобразование TensorFlow
При применении машинного обучения к наборам данных реального мира требуется много усилий для предварительной обработки данных в подходящий формат. Это включает в себя преобразование между форматами, разметку и выделение текста, формирование словарей, а также выполнение различных числовых операций, таких как нормализация. Все это можно сделать с помощью tf.Transform.
Анализ модели TensorFlow
Анализ моделей TensorFlow (TFMA) позволяет разработчикам вычислять и визуализировать оценочные показатели для своих моделей. Перед развертыванием любой модели машинного обучения (ML) разработчикам машинного обучения необходимо оценить производительность модели, чтобы убедиться, что она соответствует определенным пороговым значениям качества и ведет себя, как ожидалось, для всех соответствующих срезов данных. Например, модель может иметь приемлемую AUC по всему набору данных eval, но хуже работать на определенных срезах. TFMA дает разработчикам инструменты для глубокого понимания производительности их моделей.
Обслуживание TensorFlow
Системы обслуживания машинного обучения (ML) должны поддерживать управление версиями моделей (для обновлений моделей с возможностью отката) и несколько моделей (для экспериментов с помощью A / B-тестирования), обеспечивая при этом высокую пропускную способность параллельных моделей на аппаратных ускорителях (графические процессоры и TPU) с низкой задержкой. TensorFlow Serving доказал свою эффективность при обработке десятков миллионов логических выводов в секунду в Google.
Решения общих проблем
Изучите пошаговые руководства, которые помогут вам в ваших проектах.
Это руководство обучает модель нейронной сети классифицировать изображения одежды, например кроссовки и рубашки, сохраняет обученную модель, а затем обслуживает ее с помощью TensorFlow Serving. Основное внимание уделяется обслуживанию TensorFlow, а не моделированию и обучению в TensorFlow.
Введение в TensorFlow Extended (TFX) и Cloud AI Platform Pipelines для создания собственных конвейеров машинного обучения в Google Cloud. Следуйте типичному процессу разработки машинного обучения, начиная с изучения набора данных и заканчивая полным рабочим конвейером.
Узнайте, как TensorFlow Extended (TFX) может создавать и оценивать модели машинного обучения, которые будут развернуты на устройстве. TFX теперь обеспечивает встроенную поддержку TFLite, что позволяет выполнять высокоэффективный логический вывод на мобильных устройствах.
Как компании используют TFX
Новости и объявления
Ознакомьтесь с нашим блогом и плейлистом на YouTube, чтобы найти дополнительный контент TFX,
и подпишитесь на нашу ежемесячную новостную рассылку TensorFlow, чтобы получать
последние объявления отправляются прямо на ваш почтовый ящик.
Узнайте, как SAP Concur Labs упростила развертывание моделей BERT с помощью библиотек и расширений TensorFlow, в этом блоге, состоящем из двух частей.
Объявление о запуске бета-версии Cloud AI Platform Pipelines, готовой к установке, простой в установке и безопасной среде выполнения ваших рабочих процессов машинного обучения.
Узнайте, как рабочая платформа машинного обучения Google, TFX, изменится в 2020 году. Посмотрите захватывающий пример того, как Airbus использует TFX.
Выпуск TensorFlow 2.0 принес много новых функций и улучшений, включая тесную интеграцию с Keras. Узнайте, как компоненты TFX поддерживают собственный Keras.