TensorFlow 2.0 Beta is available Learn more
TensorFlow Extended(TFX)は、本番環境用 ML パイプラインをデプロイするためのエンドツーエンドのプラットフォームです

研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。

チュートリアルを見る

包括的で完全な例を挙げながら TFX の使い方を説明するチュートリアルです。

ガイドを見る

TFX の概念およびコンポーネントについて説明するガイドです。

仕組み

モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。

TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。

これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。

TensorFlow Data Validation

TensorFlow Data Validation(TFDV)は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。

TensorFlow Transform

機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。

TensorFlow Model Analysis

TensorFlow Model Analysis(TFMA)では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。

TensorFlow Serving

機械学習(ML)サービス システムでは、モデルのバージョン管理(ロールバック オプションのあるモデル更新用)および複数モデル(A/B テストによる検証用)をサポートする必要があります。その一方、同時に実行するモデルが、ハードウェア アクセラレータ(GPU と TPU)で高スループット、低レイテンシを実現することも要求されます。TensorFlow Serving は、毎秒数千万の推論を処理する性能があることが Google で実証されています。

よくある問題への解決策

プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。

中級
TensorFlow Transform によるデータの前処理

この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。

中級
TensorFlow Serving を使って TensorFlow モデルをトレーニングし運用する

このガイドでは、TensorFlow Serving を使用して、スニーカーやシャツなど身に着けるものの画像を分類するニューラル ネットワークをトレーニングし、そのトレーニング済みモデルを保存してから運用します。TensorFlow でのモデリングとトレーニングではなく、TensorFlow Serving に焦点を当てたガイドです。

中級
TensorFlow Data Validation によるデータのラングリング

この Colab ノートブックの例では、TensorFlow Data Validation(TFDV)を使用してデータセットを調査し可視化する方法について説明しています。具体的には、記述統計の確認、スキーマの推論、異常のチェックと修正、このデータセット内の偏りやスキューの確認を行います。

ニュースとお知らせ
Jun 26. 2019 
Real World Machine Learning in Production

What is TensorFlow Extended and how can it help with your ML pipeline? Learn about the main concepts of TFX, how it all fits together, and how Google leverages it for their business.

Jun 26, 2019 
Apache Beam for Production Machine Learning: TensorFlow Extended

Learn from Google’s experience in applying Beam for ML pipelines, including how TFX uses Beam and why Beam was chosen.

May 24, 2019 
From Research to Production with TFX Pipelines and ML Metadata

Learn how to create a complete TFX ML pipeline using several ready-made components, configure them for many typical ML use cases with a high level Python API, and execute them with an orchestration system of your choice such as Apache Airflow or Kubeflow.

May 8, 2019 
ML Pipelines and Model Understanding (I/O'19)

In this video, the TFX team talks on stage about implementing a TFX pipeline, and discusses a current topics in model understanding.

コミュニティへの参加

TensorFlow コミュニティに参加する方法はたくさんあります。