Apache Airflow
Apache Airflow является платформой для программного автора, графика и монитор рабочих процессов. TFX использует Airflow для создания рабочих процессов в виде ориентированных ациклических графов (DAG) задач. Планировщик Airflow выполняет задачи для массива рабочих, следуя указанным зависимостям. Богатые служебные программы командной строки позволяют легко выполнять сложные операции на DAG. Богатый пользовательский интерфейс позволяет легко визуализировать конвейеры, работающие в производственной среде, отслеживать прогресс и при необходимости устранять неполадки. Когда рабочие процессы определены как код, они становятся более удобными в обслуживании, версиями, тестируемыми и совместимыми.
Смотрите Apache Airflow для подробной информации об установке и использовании Apache Airflow.