Esta página foi traduzida pela API Cloud Translation.
Switch to English

Apache Beam e TFX

O Apache Beam fornece uma estrutura para executar jobs de processamento de dados em lote e streaming que são executados em uma variedade de mecanismos de execução. Várias das bibliotecas TFX usam o Beam para executar tarefas, o que permite um alto grau de escalabilidade entre clusters de computação. O Beam inclui suporte para uma variedade de mecanismos de execução ou "runners", incluindo um executor direto que é executado em um único nó de computação e é muito útil para desenvolvimento, teste ou pequenas implantações. O Beam fornece uma camada de abstração que permite que o TFX seja executado em qualquer executor compatível sem modificações no código. TFX usa a API Beam Python, portanto, é limitado aos executores que são suportados pela API Python.

Implantação e escalabilidade

Conforme os requisitos de carga de trabalho aumentam, o Beam pode ser escalonado para implantações muito grandes em grandes clusters de computação. Isso é limitado apenas pela escalabilidade do runner subjacente. Os executores em grandes implantações normalmente serão implantados em um sistema de orquestração de contêineres, como Kubernetes ou Apache Mesos, para automatizar a implantação, dimensionamento e gerenciamento de aplicativos.

Consulte a documentação do Apache Beam para obter mais informações sobre o Apache Beam.