研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。
モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。
TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。
これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。
TensorFlow Data Validation（TFDV）は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。
機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。
TensorFlow Model Analysis（TFMA）では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。
プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。
この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。
What is TensorFlow Extended and how can it help with your ML pipeline? Learn about the main concepts of TFX, how it all fits together, and how Google leverages it for their business.
Learn from Google’s experience in applying Beam for ML pipelines, including how TFX uses Beam and why Beam was chosen.
Learn how to create a complete TFX ML pipeline using several ready-made components, configure them for many typical ML use cases with a high level Python API, and execute them with an orchestration system of your choice such as Apache Airflow or Kubeflow.
