Управление конвейерами TFX

Apache Beam

Некоторые компоненты TFX полагаются на Beam для обработки распределенных данных. Кроме того, TFX может использовать Apache Beam для организации и выполнения конвейерного DAG. Луч оркестратор использует другой BeamRunner , чем та , которая используется для компонентов обработки данных. С умолчанию DirectRunner установки Балка оркестратором можно использовать для локальной отладки , без каких дополнительных AIRFLOW или Kubeflow зависимостей, что упрощает конфигурацию системы.

Смотрите пример TFX на Beam для деталей.