研究段階のモデルを本番環境に移行する準備が整ったら、TFX を使用して本番環境パイプラインを作成し、管理しましょう。
モデルのトレーニングを十分に行い、その素晴らしいモデルを本番環境に移行して活用する準備が整ったら、TFX を使用して完全な ML パイプラインを構築しましょう。
TFX のパイプラインは、スケーラブルで高性能の機械学習タスク専用に設計されている ML パイプラインを実装する、一連のコンポーネントです。モデリング、トレーニング、推論処理、およびオンライン、ネイティブ モバイルアプリ、JavaScript などのターゲットへのデプロイの管理を行うことができます。詳しくは、TFX ユーザーガイドをご覧ください。
これらのパイプライン コンポーネントは、個別にも使用可能な TFX ライブラリを使って作成されています。基盤となるこのライブラリの概要について、以下にご紹介します。
TensorFlow Data Validation（TFDV）は、大規模な ML データの理解、検証、モニタリングを行うデベロッパー向けのツールです。Google では毎日 TFDV を使用してペタバイト単位のデータを分析、検証しています。TFX ユーザーが ML パイプラインの正常性を維持するうえで TFDV が役立つという実績もあります。
機械学習を現実のデータセットに適用する場合、データを適切な形式にする前処理にかなりの労力が必要となります。たとえば、フォーマット間の変換、テキストのトークン化とステミングおよび語彙の形成、正規化などの各種算術演算などを行わなければなりません。tf.Transform を使えば、そのすべてをまとめて実行できます。
TensorFlow Model Analysis（TFMA）では、モデルの評価指標を計算して可視化することができます。機械学習のデベロッパーは、そのモデルが一定の品質基準を満たし、データの関連するスライスすべてが想定どおりに動作するよう、モデルをデプロイする前に性能を評価する必要があります。これはたとえば、評価用データセット全体での AUC は基準を満たしているものの、特定のスライスでの性能が基準を下回るというモデルもあり得るためです。TFMA のツールを使用すると、デベロッパーはモデルの性能を詳しく理解できるようになります。
プロジェクトの参考になるステップバイステップ チュートリアルをご覧ください。
この例では、国勢調査データを含む広く利用されているデータセットを処理し、分類用にモデルをトレーニングします。その過程で、tf.Transform を使用してデータを変換します。
See updates to help you with your work, and subscribe to our monthly TensorFlow newsletter to get the latest announcements sent directly to your inbox.
TensorFlow Extended とは何か。ML パイプラインにどう活用できるのか。TFX の主要な概念、それらをどう組み合わせるか、Google はビジネスにどう活用しているのかを学ぶことができます。
ML パイプラインに Beam を適用してきた Google の経験を共有し、TFX で Beam をどう利用し、なぜ Beam を選択したかについて解説します。
