编排 TFX 流水线

Apache Beam

一些 TFX 组件依赖于 Beam 进行分布式数据处理。此外,TFX 可以使用 Apache Beam 来编排和执行流水线 DAG。Beam 编排器使用不同于组件数据处理所用的 BeamRunner。在默认 DirectRunner 设置下,Beam 编排器可用于本地调试,而不会产生额外的 Airflow 或 Kubeflow 依赖项,这有助于简化系统配置。

有关详细信息,请参阅 Beam 上的 TFX 样本