Apache Airflow
Apache Airflow é uma plataforma para programaticamente autor, agendar e monitorar os fluxos de trabalho. O TFX usa o Airflow para criar fluxos de trabalho como gráficos acíclicos direcionados (DAGs) de tarefas. O agendador do Airflow executa tarefas em uma matriz de workers enquanto segue as dependências especificadas. Utilitários avançados de linha de comando facilitam a execução de cirurgias complexas em DAGs. A rica interface do usuário facilita a visualização de pipelines em execução na produção, o monitoramento do progresso e a solução de problemas quando necessário. Quando os fluxos de trabalho são definidos como código, eles se tornam mais fáceis de manter, versáteis, testáveis e colaborativos.
Veja o Apache Airflow para obter detalhes sobre como instalar e utilizar Apache Airflow.