TensorFlow Extended (TFX) 是一个端到端平台,用于部署生产型机器学习流水线

当您准备好将模型从研究状态切换到生产状态时,可以使用 TFX 创建和管理生产流水线。

查看教程

教程将通过完整的端到端示例向您展示如何使用 TFX。

查看指南

指南介绍了 TFX 的概念和组件。

运行原理

当您准备好训练多个模型,或准备将您的精彩模型投入使用并部署到生产环境中时,TFX 可以帮助您构建完整的机器学习流水线。

A TFX 流水线是一系列实现机器学习流水线的组件,专门用于可扩展的高性能机器学习任务。这包括针对在线、原生移动和 JavaScript 目标建模、训练、运行推断和管理部署。要了解详情,请阅读我们的 TFX 用户指南

流水线组件使用 TFX 库构建而成,这些库也可以单独使用。下面概述了这些底层库。

TensorFlow Data Validation

TensorFlow Data Validation (TFDV) 能够帮助开发者大规模地理解、验证和监控机器学习数据。Google 每天都使用 TFDV 分析和验证 PB 级的数据,并且在帮助 TFX 用户维护机器学习流水线正常运行方面,TFDV 一贯表现良好。

TensorFlow Transform

在将机器学习应用于现实世界的数据集时,需要投入很多精力才能将数据预处理为合适的格式,其中包括在各种格式之间进行转换、对文本进行标记化和词干化、创建词汇表、执行归一化等各种数字操作。您可以使用 tf.Transform 完成所有这些操作。

TensorFlow Model Analysis

TensorFlow Model Analysis (TFMA) 让开发者能够计算和可视化模型的评估指标。在部署任何机器学习 (ML) 模型之前,机器学习开发者需要评估模型的性能,以确保其达到特定的质量阈值,并且能够针对所有相关数据切片展示出与预期相符的行为。例如,模型针对整个评估数据集的 AUC 可能是可接受的,但针对特定数据集切片却表现不佳。TFMA 为开发者提供了深入了解其模型性能的工具。

TensorFlow Serving

机器学习 (ML) 应用系统必须支持模型版本控制(用于更新模型并提供回滚选项)和多个模型(用于通过 A/B 测试进行实验),同时还要确保并发模型能够在硬件加速器(GPU 和 TPU)上以较低的延迟实现较高的吞吐量。TensorFlow Serving 在 Google 每秒能完成数千万次推断。

常见问题的解决方案

浏览分步教程以帮助您完成项目。

中级
训练模型并使用 TensorFlow Serving 应用 TensorFlow 模型

此指南会训练一个对服饰(例如运动鞋和衬衫)图像进行分类的神经网络模型,保存训练过的模型,然后使用 TensorFlow Serving 应用此模型。重点是 TensorFlow Serving,而不是在 TensorFlow 中进行建模和训练。

中级
创建托管于 Google Cloud 之上的 TFX 流水线

本教程介绍了如何使用 TensorFlow Extended (TFX) 和 Cloud AI Platform Pipelines 在 Google Cloud 上创建您自己的机器学习流水线。您将遵循典型的机器学习开发流程,即从检查数据集开始,最后得到一个完整且有效的流水线。

中级
结合使用 TFX 和 TensorFlow Lite,提高在设备上进行推断的效率

了解 TensorFlow Extended (TFX) 如何创建和评估将部署到设备上的机器学习模型。TFX 现已提供对 TFLite 的原生支持,因此提高了在移动设备上进行推断的效率。

新闻和通告

欢迎查看我们的博客YouTube 播放列表获取其他 TFX 内容,
并订阅我们的 TensorFlow 每月简报,
直接通过邮箱接收最新公告。

2020 年 3 月 11 日 
全新推出 Cloud AI Platform Pipelines

宣布推出 Beta 版 Cloud AI Platform Pipelines,它可为您的机器学习工作流程提供易于安装且安全的企业级执行环境。

2020 年 3 月 11 日 
TFX:2020 年基于 TensorFlow 的生产型机器学习平台(2020 年 TensorFlow 开发者峰会)

了解 Google 的生产型机器学习平台 TFX 将在 2020 年迎来哪些变化。查看 Airbus 如何使用 TFX 这一精彩案例。

Continue
2020 年 3 月 9 日
TFX 中的原生 Keras

TensorFlow 2.0 版推出了许多新功能,还进行了很多改进, 包括与 Keras 密切整合。了解 TFX 组件如何 为原生 Keras 提供支持。

2019 年 11 月 1 日 
面向所有人的端到端机器学习平台(2019 年 TF World 大会)

观看 2019 年 TensorFlow World 大会上的这段主题演讲,了解 Google 是如何设计 TFX 以满足生产型机器学习流水线的需求。

Continue