TFXパイプラインのオーケストレーション

ApacheAirflow

Apacheのエアフローは、プログラムの作者、スケジュールおよびモニターのワークフローへのプラットフォームです。 TFXは、Airflowを使用して、タスクの有向非巡回グラフ(DAG)としてワークフローを作成します。 Airflowスケジューラーは、指定された依存関係に従いながら、一連のワーカーに対してタスクを実行します。豊富なコマンドラインユーティリティにより、DAGで複雑な手術を簡単に実行できます。豊富なユーザーインターフェイスにより、本番環境で実行されているパイプラインを簡単に視覚化し、進行状況を監視し、必要に応じて問題のトラブルシューティングを行うことができます。ワークフローがコードとして定義されると、ワークフローはより保守可能、バージョン管理可能、テスト可能、および協調的になります。

参照Apacheのエアフローをインストールし、Apacheのエアフローを使用しての詳細については。