Sintonizar con las primeras mujeres en ML Simposio este martes, 19 de octubre a 09 a.m. PST Registrar ahora

Orquestando canalizaciones TFX

Apache Beam

Varios componentes TFX dependen de Beam para el procesamiento de datos distribuidos. Además, TFX puede utilizar Apache Beam para orquestar y ejecutar el DAG de canalización. Beam orchestrator usa un BeamRunner diferente al que se usa para el procesamiento de datos de componentes. Con la configuración predeterminada de DirectRunner , el orquestador de Beam se puede utilizar para la depuración local sin incurrir en dependencias adicionales de Airflow o Kubeflow, lo que simplifica la configuración del sistema.

Consulte el ejemplo de TFX en Beam para obtener más detalles.