تنسيق خطوط أنابيب TFX

منسق مخصص

تم تصميم TFX ليكون محمولاً في بيئات متعددة وأطر عمل التنسيق. يمكن للمطورين إنشاء منسقين مخصصين أو إضافة منسقين إضافيين بالإضافة إلى المنسقين الافتراضيين الذين يدعمهم TFX، وهم Local و Vertex AI و Airflow و Kubeflow .

يجب على جميع المنسقين أن يرثوا من TfxRunner . يأخذ منسقو TFX كائن خط الأنابيب المنطقي، الذي يحتوي على وسيطات خط الأنابيب والمكونات وDAG، ويكونون مسؤولين عن جدولة مكونات خط أنابيب TFX بناءً على التبعيات المحددة بواسطة DAG.

على سبيل المثال، دعونا نلقي نظرة على كيفية إنشاء منسق مخصص باستخدام BaseComponentLauncher . يتعامل BaseComponentLauncher بالفعل مع برنامج التشغيل والمنفذ والناشر لمكون واحد. يحتاج المنسق الجديد فقط إلى جدولة ComponentLaunchers استنادًا إلى DAG. يتم توفير منسق بسيط باسم LocalDagRunner ، الذي يقوم بتشغيل المكونات واحدًا تلو الآخر بالترتيب الطوبولوجي لـ DAG.

يمكن استخدام هذا المنسق في Python DSL:

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

للتشغيل فوق ملف Python DSL (على افتراض أنه يسمى dsl.py)، ما عليك سوى القيام بما يلي:

python dsl.py