Registration is open for TensorFlow Dev Summit 2020 Learn more

TensorFlow Extended(TFX)は、本番環境用 ML パイプラインをデプロイするためのエンドツーエンドのプラットフォームです

研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。

チュートリアル

包括的で完全な例を挙げながら TFX の使い方を説明するチュートリアルです。

ガイドを見る

TFX の概念およびコンポーネントについて説明するガイドです。

仕組み

モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。

TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。

これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。

TensorFlow Data Validation

TensorFlow Data Validation(TFDV)は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。

TensorFlow Transform

機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。

TensorFlow Model Analysis

TensorFlow Model Analysis(TFMA)では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。

TensorFlow Serving

機械学習(ML)サービス システムでは、モデルのバージョン管理(ロールバック オプションのあるモデル更新用)および複数モデル(A/B テストによる検証用)をサポートする必要があります。その一方、同時に実行するモデルが、ハードウェア アクセラレータ(GPU と TPU)で高スループット、低レイテンシを実現することも要求されます。TensorFlow Serving は、毎秒数千万の推論を処理する性能があることが Google で実証されています。

よくある問題への解決策

プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。

中級
TensorFlow Transform によるデータの前処理

この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。

中級
TensorFlow Serving を使って TensorFlow モデルをトレーニングし運用する

このガイドでは、TensorFlow Serving を使用して、スニーカーやシャツなど身に着けるものの画像を分類するニューラル ネットワークをトレーニングし、そのトレーニング済みモデルを保存してから運用します。TensorFlow でのモデリングとトレーニングではなく、TensorFlow Serving に焦点を当てたガイドです。

中級
TensorFlow Data Validation によるデータのラングリング

この Colab ノートブックの例では、TensorFlow Data Validation(TFDV)を使用してデータセットを調査し可視化する方法について説明しています。具体的には、記述統計の確認、スキーマの推論、異常のチェックと修正、このデータセット内の偏りやスキューの確認を行います。

ニュースとお知らせ

Check out our blog and YouTube playlist for additional TFX content,
and subscribe to our monthly TensorFlow newsletter to get the
latest announcements sent directly to your inbox.

Nov 25, 2019 
Introducing the TFX Interactive Notebook

A new (experimental) Colab notebook environment for iterative development of TFX components & pipelines, using InteractiveContext.

Nov 1, 2019 
An End-to-End ML Platform for Everyone (TF World '19)

Watch this keynote presentation from TensorFlow World 2019 and learn about how TFX was designed to meet the needs of production ML pipelines.

Oct 31, 2019 
Production ML Pipelines with TensorFlow (TF World '19)

Learn about the orchestration and components which make up TFX ML Pipelines, and watch a complete end-to-end demo!

2019 年 6 月 26 日 
現実世界における機械学習の利用

Learn how you can create a semi-custom TFX component simply by replacing the Executor for an existing component.