Join us at TensorFlow World, Oct 28-31. Use code TF20 for 20% off select passes. Register now
TensorFlow Extended(TFX)は、本番環境用 ML パイプラインをデプロイするためのエンドツーエンドのプラットフォームです

研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。

チュートリアルを見る

包括的で完全な例を挙げながら TFX の使い方を説明するチュートリアルです。

ガイドを見る

TFX の概念およびコンポーネントについて説明するガイドです。

仕組み

モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。

TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。

これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。

TensorFlow Data Validation

TensorFlow Data Validation(TFDV)は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。

TensorFlow Transform

機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。

TensorFlow Model Analysis

TensorFlow Model Analysis(TFMA)では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。

TensorFlow Serving

機械学習(ML)サービス システムでは、モデルのバージョン管理(ロールバック オプションのあるモデル更新用)および複数モデル(A/B テストによる検証用)をサポートする必要があります。その一方、同時に実行するモデルが、ハードウェア アクセラレータ(GPU と TPU)で高スループット、低レイテンシを実現することも要求されます。TensorFlow Serving は、毎秒数千万の推論を処理する性能があることが Google で実証されています。

よくある問題への解決策

プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。

中級
TensorFlow Transform によるデータの前処理

この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。

中級
TensorFlow Serving を使って TensorFlow モデルをトレーニングし運用する

このガイドでは、TensorFlow Serving を使用して、スニーカーやシャツなど身に着けるものの画像を分類するニューラル ネットワークをトレーニングし、そのトレーニング済みモデルを保存してから運用します。TensorFlow でのモデリングとトレーニングではなく、TensorFlow Serving に焦点を当てたガイドです。

中級
TensorFlow Data Validation によるデータのラングリング

この Colab ノートブックの例では、TensorFlow Data Validation(TFDV)を使用してデータセットを調査し可視化する方法について説明しています。具体的には、記述統計の確認、スキーマの推論、異常のチェックと修正、このデータセット内の偏りやスキューの確認を行います。

News & announcements

See updates to help you with your work, and subscribe to our monthly TensorFlow newsletter to get the latest announcements sent directly to your inbox.

2019 年 6 月 26 日 
現実世界における機械学習の利用

TensorFlow Extended とは何か。ML パイプラインにどう活用できるのか。TFX の主要な概念、それらをどう組み合わせるか、Google はビジネスにどう活用しているのかを学ぶことができます。

2019 年 6 月 26 日 
Apache Beam による機械学習の本番稼働: TensorFlow Extended

ML パイプラインに Beam を適用してきた Google の経験を共有し、TFX で Beam をどう利用し、なぜ Beam を選択したかについて解説します。

2019 年 5 月 24 日 
TFX パイプラインと ML Metadata でリサーチから本番環境に

既成のコンポーネントを複数利用して完全な TFX ML パイプラインを作成する方法を学びます。それらを調整して高レベルの Python API を活用した多くの一般的な ML ユースケースに利用したり、Apache Airflow や Kubeflow などのお好みのオーケストレーション システムを使って実行したりします。

2019 年 5 月 8 日 
ML パイプラインとモデル理解(I/O'19)

この動画では、TFX チームが TFX パイプラインの実装について説明し、モデル理解に関わる最新のトピックについて議論します。

コミュニティへの参加

TensorFlow コミュニティに参加する方法はたくさんあります。