Апач воздушный поток
Apache Airflow — это платформа для программного создания, планирования и мониторинга рабочих процессов. TFX использует Airflow для создания рабочих процессов в виде направленных ациклических графов (DAG) задач. Планировщик Airflow выполняет задачи над массивом воркеров, следуя указанным зависимостям. Богатые утилиты командной строки позволяют с легкостью выполнять сложные операции с группами DAG. Богатый пользовательский интерфейс позволяет легко визуализировать рабочие конвейеры, отслеживать ход выполнения и устранять проблемы, когда это необходимо. Когда рабочие процессы определяются как код, они становятся более удобными в сопровождении, версионировании, тестировании и совместной работе.
Подробную информацию об установке и использовании Apache Airflow см. в документе Apache Airflow.