Orkestrator Kustom
TFX dirancang agar portabel untuk berbagai lingkungan dan kerangka orkestrasi. Pengembang dapat membuat orkestrator khusus atau menambahkan orkestrator tambahan selain orkestrator default yang didukung oleh TFX, yaitu Local , Vertex AI , Airflow , dan Kubeflow .
Semua orkestrator harus mewarisi dari TfxRunner . Orkestra TFX mengambil objek alur logis, yang berisi argumen alur, komponen, dan DAG, dan bertanggung jawab untuk menjadwalkan komponen alur TFX berdasarkan dependensi yang ditentukan oleh DAG.
Misalnya, mari kita lihat cara membuat orkestrator khusus dengan BaseComponentLauncher . BaseComponentLauncher sudah menangani driver, pelaksana, dan penerbit satu komponen. Orkestra baru hanya perlu menjadwalkan ComponentLauncher berdasarkan DAG. Orkestra sederhana disediakan sebagai LocalDagRunner , yang menjalankan komponen satu per satu dalam urutan topologi DAG.
Orkestra ini dapat digunakan di Python DSL:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
Untuk menjalankan file Python DSL di atas (dengan asumsi bernama dsl.py), cukup lakukan hal berikut:
python dsl.py