Missed TensorFlow Dev Summit? Check out the video playlist. Watch recordings

TensorFlow Extended(TFX)は、本番環境用 ML パイプラインをデプロイするためのエンドツーエンドのプラットフォームです

研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。

チュートリアル

包括的で完全な例を挙げながら TFX の使い方を説明するチュートリアルです。

ガイドを見る

TFX の概念およびコンポーネントについて説明するガイドです。

仕組み

モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。

TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。

これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。

TensorFlow Data Validation

TensorFlow Data Validation(TFDV)は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。

TensorFlow Transform

機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。

TensorFlow Model Analysis

TensorFlow Model Analysis(TFMA)では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。

TensorFlow Serving

機械学習(ML)サービス システムでは、モデルのバージョン管理(ロールバック オプションのあるモデル更新用)および複数モデル(A/B テストによる検証用)をサポートする必要があります。その一方、同時に実行するモデルが、ハードウェア アクセラレータ(GPU と TPU)で高スループット、低レイテンシを実現することも要求されます。TensorFlow Serving は、毎秒数千万の推論を処理する性能があることが Google で実証されています。

よくある問題への解決策

プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。

中級
TensorFlow Transform によるデータの前処理

この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。

中級
TensorFlow Serving を使って TensorFlow モデルをトレーニングし運用する

このガイドでは、TensorFlow Serving を使用して、スニーカーやシャツなど身に着けるものの画像を分類するニューラル ネットワークをトレーニングし、そのトレーニング済みモデルを保存してから運用します。TensorFlow でのモデリングとトレーニングではなく、TensorFlow Serving に焦点を当てたガイドです。

中級
TensorFlow Data Validation によるデータのラングリング

この Colab ノートブックの例では、TensorFlow Data Validation(TFDV)を使用してデータセットを調査し可視化する方法について説明しています。具体的には、記述統計の確認、スキーマの推論、異常のチェックと修正、このデータセット内の偏りやスキューの確認を行います。

ニュースとお知らせ

その他の TFX コンテンツについては、ブログYouTube の再生リストをご覧ください。
また、最新のお知らせを毎月メールボックスに直接お届けする
TensorFlow ニュースレターにご登録ください。

2019 年 11 月 25 日 
TFX interactive notebook の概要

InteractiveContext を使用した TFX コンポーネントとパイプラインの反復型開発のための、試験的に導入された新しい Colab ノートブック環境。

2019 年 11 月 1 日 
An End-to-End ML Platform for Everyone(TF World、2019 年)

TensorFlow World 2019 の基調講演で、本番環境用 ML パイプラインに求められるニーズを満たすために、TFX がどのように設計されたかをご覧ください。

2019 年 10 月 31 日 
Production ML Pipelines with TensorFlow(TF World '19)

TFX ML パイプラインを構成するためのオーケストレーションとコンポーネントについて学び、エンドツーエンドの完全なデモをご覧ください。

2019 年 6 月 26 日 
現実世界における機械学習の利用

既存のコンポーネントの Executor を置き換えるだけで TFX のセミカスタム コンポーネントを作成する方法を学習できます。