Rejoignez la communauté SIG TFX-Addons et contribuez à rendre TFX encore meilleur ! Rejoignez SIG TFX-Addons

Orchestration des pipelines TFX

Apache Airflow

Apache Airflow est une plate-forme permettant de créer, de planifier et de surveiller des flux de travail par programmation. TFX utilise Airflow pour créer des flux de travail sous forme de graphes acycliques dirigés (DAG) de tâches. Le planificateur Airflow exécute des tâches sur un tableau de nœuds de calcul tout en suivant les dépendances spécifiées. Les utilitaires de ligne de commande riches facilitent la réalisation de chirurgies complexes sur les DAG. L'interface utilisateur riche facilite la visualisation des pipelines en cours de production, le suivi de la progression et la résolution des problèmes en cas de besoin. Lorsque les flux de travail sont définis comme du code, ils deviennent plus maintenables, versionnables, testables et collaboratifs.

Consultez Apache Airflow pour plus de détails sur l'installation et l'utilisation d'Apache Airflow.