Dołącz do społeczności SIG TFX-Addons i pomóż ulepszyć TFX! Dołącz do dodatków SIG TFX

Orkiestracja potoków TFX

Apache Beam

Kilka komponentów TFX polega na Beam do rozproszonego przetwarzania danych. Ponadto TFX może używać Apache Beam do organizowania i wykonywania DAG potoku. Beam Orchestrator używa innego BeamRunner niż ten, który jest używany do przetwarzania danych komponentów. Przy domyślnej konfiguracji DirectRunner koordynator wiązek może być używany do lokalnego debugowania bez powodowania dodatkowych zależności przepływu powietrza lub Kubeflow, co upraszcza konfigurację systemu.

Zobacz przykład TFX w Beam, aby uzyskać szczegółowe informacje.