Se usó la API de Cloud Translation para traducir esta página.
Switch to English

Apache Beam y TFX

Apache Beam proporciona un marco para ejecutar trabajos de procesamiento de datos por lotes y en streaming que se ejecutan en una variedad de motores de ejecución. Varias de las bibliotecas TFX usan Beam para ejecutar tareas, lo que permite un alto grado de escalabilidad entre clústeres de cómputo. Beam incluye soporte para una variedad de motores de ejecución o "ejecutores", incluido un ejecutor directo que se ejecuta en un solo nodo de cómputo y es muy útil para desarrollo, pruebas o pequeñas implementaciones. Beam proporciona una capa de abstracción que permite que TFX se ejecute en cualquier corredor compatible sin modificaciones de código. TFX usa la API Beam Python, por lo que está limitado a los corredores que son compatibles con la API Python.

Implementación y escalabilidad

A medida que aumentan los requisitos de carga de trabajo, Beam puede escalar a implementaciones muy grandes en grandes clústeres de computación. Esto está limitado solo por la escalabilidad del corredor subyacente. Los corredores en implementaciones grandes generalmente se implementarán en un sistema de orquestación de contenedores como Kubernetes o Apache Mesos para automatizar la implementación, el escalado y la administración de aplicaciones.

Consulte la documentación de Apache Beam para obtener más información sobre Apache Beam.