Apache Airflow
O Apache Airflow é uma plataforma para criar, agendar e monitorar de forma programática fluxos de trabalho. O TFX usa o Airflow para criar fluxos de trabalho como gráficos acíclicos direcionados (DAGs) de tarefas. O agendador do Airflow executa tarefas em uma matriz de workers enquanto segue as dependências especificadas. Utilitários avançados de linha de comando facilitam a execução de cirurgias complexas em DAGs. A rica interface do usuário facilita a visualização de pipelines em execução na produção, o monitoramento do progresso e a solução de problemas quando necessário. Quando os fluxos de trabalho são definidos como código, eles se tornam mais fáceis de manter, versáteis, testáveis e colaborativos.
Consulte o Apache Airflow para obter detalhes sobre como instalar e usar o Apache Airflow.