Apache Beam
Vários componentes TFX dependem do Beam para processamento de dados distribuídos. Além disso, o TFX pode usar o Apache Beam para orquestrar e executar o DAG do pipeline. O orquestrador de feixes usa um BeamRunner diferente daquele usado para o processamento de dados do componente. Com a configuração padrão do DirectRunner, o orquestrador de feixes pode ser usado para depuração local sem incorrer nas dependências extras do Airflow ou Kubeflow, o que simplifica a configuração do sistema.
Veja o exemplo TFX em Beam para detalhes.