Mengatur Pipa TFX, Mengatur Pipa TFX

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Apache Beam

Beberapa komponen TFX mengandalkan Beam untuk pemrosesan data terdistribusi. Selain itu, TFX dapat menggunakan Apache Beam untuk mengatur dan menjalankan DAG pipeline. Orkestra balok menggunakan BeamRunner yang berbeda dari yang digunakan untuk pemrosesan data komponen. Dengan pengaturan DirectRunner default, orkestra Beam dapat digunakan untuk debugging lokal tanpa menimbulkan dependensi Airflow atau Kubeflow tambahan, yang menyederhanakan konfigurasi sistem.

Lihat contoh TFX di Beam untuk detailnya.

,

Apache Beam

Beberapa komponen TFX mengandalkan Beam untuk pemrosesan data terdistribusi. Selain itu, TFX dapat menggunakan Apache Beam untuk mengatur dan menjalankan DAG pipeline. Orkestra balok menggunakan BeamRunner yang berbeda dari yang digunakan untuk pemrosesan data komponen. Dengan pengaturan DirectRunner default, orkestra Beam dapat digunakan untuk debugging lokal tanpa menimbulkan dependensi Airflow atau Kubeflow tambahan, yang menyederhanakan konfigurasi sistem.

Lihat contoh TFX di Beam untuk detailnya.