TFX パイプラインのオーケストレーション

Apache エアフロー

Apache Airflow は、ワークフローをプログラムで作成、スケジュール、監視するためのプラットフォームです。 TFX は、Airflow を使用して、タスクの有向非巡回グラフ (DAG) としてワークフローを作成します。 Airflow スケジューラは、指定された依存関係に従いながら、ワーカーの配列に対してタスクを実行します。豊富なコマンド ライン ユーティリティにより、DAG での複雑な手術を簡単に実行できます。豊富なユーザー インターフェイスにより、実稼働環境で実行されているパイプラインを簡単に視覚化し、進行状況を監視し、必要に応じて問題のトラブルシューティングを行うことができます。ワークフローがコードとして定義されると、ワークフローの保守性、バージョン管理性、テスト性、および共同作業性が向上します。

Apache Airflowのインストールと使用の詳細については、「Apache Airflow」を参照してください。