Rejoignez la communauté SIG TFX-Addons et contribuez à rendre TFX encore meilleur ! Rejoignez SIG TFX-Addons

Orchestration des pipelines TFX

Apache Beam

Plusieurs composants TFX s'appuient sur Beam pour le traitement des données distribuées. De plus, TFX peut utiliser Apache Beam pour orchestrer et exécuter le DAG du pipeline. Beam orchestrator utilise un BeamRunner différent de celui qui est utilisé pour le traitement des données des composants. Avec la configuration DirectRunner par défaut, l'orchestrateur Beam peut être utilisé pour le débogage local sans entraîner les dépendances supplémentaires Airflow ou Kubeflow, ce qui simplifie la configuration du système.

Voir l' exemple TFX sur Beam pour plus de détails.