Treten Sie der SIG TFX-Addons-Community bei und helfen Sie, TFX noch besser zu machen!

Orchestrieren von TFX-Pipelines

Apache Beam

Mehrere TFX-Komponenten verlassen sich bei der verteilten Datenverarbeitung auf Beam . Darüber hinaus kann TFX Apache Beam verwenden, um die Pipeline-DAG zu orchestrieren und auszuführen. Der Beam Orchestrator verwendet einen anderen BeamRunner als den, der für die Verarbeitung von Komponentendaten verwendet wird. Mit dem Standard- DirectRunner- Setup kann der Beam-Orchestrator für das lokale Debuggen verwendet werden, ohne dass zusätzliche Airflow- oder Kubeflow-Abhängigkeiten auftreten, was die Systemkonfiguration vereinfacht.

Weitere Informationen finden Sie im TFX-Beispiel zu Beam .