Questa pagina è stata tradotta dall'API Cloud Translation.
Switch to English

Apache Beam e TFX

Apache Beam fornisce un framework per l'esecuzione di processi di elaborazione dati in batch e in streaming eseguiti su una varietà di motori di esecuzione. Molte librerie TFX utilizzano Beam per l'esecuzione di attività, il che consente un elevato grado di scalabilità tra i cluster di calcolo. Beam include il supporto per una varietà di motori di esecuzione o "corridori", incluso un runner diretto che gira su un singolo nodo di calcolo ed è molto utile per lo sviluppo, il test o le piccole implementazioni. Beam fornisce uno strato di astrazione che consente a TFX di funzionare su qualsiasi corridore supportato senza modifiche al codice. TFX utilizza l'API Beam Python, quindi è limitata ai corridori supportati dall'API Python.

Distribuzione e scalabilità

Con l'aumentare dei requisiti di carico di lavoro, Beam può adattarsi a distribuzioni molto estese in cluster di calcolo di grandi dimensioni. Questo è limitato solo dalla scalabilità del corridore sottostante. I corridori in distribuzioni di grandi dimensioni verranno in genere distribuiti in un sistema di orchestrazione dei container come Kubernetes o Apache Mesos per automatizzare la distribuzione, il ridimensionamento e la gestione delle applicazioni.

Consulta la documentazione di Apache Beam per ulteriori informazioni su Apache Beam.