ML Community Day è il 9 novembre! Unisciti a noi per gli aggiornamenti da tensorflow, JAX, e più Per saperne di più

Orchestrazione di pipeline TFX

Apache Beam

Diversi componenti TFX si affidano a Beam per l'elaborazione distribuita dei dati. Inoltre, TFX può utilizzare Apache Beam per orchestrare ed eseguire il DAG della pipeline. Beam orchestrator utilizza un BeamRunner diverso da quello utilizzato per l'elaborazione dei dati dei componenti. Con l'impostazione DirectRunner predefinita, l' agente di orchestrazione Beam può essere utilizzato per il debug locale senza incorrere in dipendenze Airflow o Kubeflow aggiuntive, il che semplifica la configurazione del sistema.

Vedi l' esempio TFX su Beam per i dettagli.