TFX パイプラインのオーケストレーション,TFX パイプラインのオーケストレーション

アパッチエアフロー

Apache Airflowは、ワークフローをプログラムで作成、スケジュール、監視するためのプラットフォームです。 TFX は Airflow を使用して、ワークフローをタスクの有向非巡回グラフ (DAG) として作成します。 Airflow スケジューラは、指定された依存関係に従いながら、ワーカーの配列でタスクを実行します。豊富なコマンド ライン ユーティリティにより、DAG で複雑な手術を簡単に実行できます。豊富なユーザー インターフェイスにより、実稼働環境で実行されているパイプラインを簡単に視覚化し、進行状況を監視し、必要に応じて問題をトラブルシューティングできます。ワークフローをコードとして定義すると、ワークフローの保守、バージョン管理、テスト、およびコラボレーションが容易になります。

Apache Airflow のインストールと使用の詳細については、 Apache Airflowを参照してください。