Orquestación de canalizaciones TFX,Orquestación de canalizaciones TFX

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Haz Apache

Varios componentes de TFX confían en Beam para el procesamiento de datos distribuidos. Además, TFX puede usar Apache Beam para orquestar y ejecutar el DAG de canalización. Beam Orchestrator usa un BeamRunner diferente al que se usa para el procesamiento de datos de componentes. Con la configuración predeterminada de DirectRunner , Beam Orchestrator se puede usar para la depuración local sin incurrir en las dependencias adicionales de Airflow o Kubeflow, lo que simplifica la configuración del sistema.

Consulte el ejemplo de TFX en Beam para obtener más información.

,

Haz Apache

Varios componentes de TFX confían en Beam para el procesamiento de datos distribuidos. Además, TFX puede usar Apache Beam para orquestar y ejecutar el DAG de canalización. Beam Orchestrator usa un BeamRunner diferente al que se usa para el procesamiento de datos de componentes. Con la configuración predeterminada de DirectRunner , Beam Orchestrator se puede usar para la depuración local sin incurrir en las dependencias adicionales de Airflow o Kubeflow, lo que simplifica la configuración del sistema.

Consulte el ejemplo de TFX en Beam para obtener más información.