תזמורת מותאמת אישית
TFX נועד להיות נייד למספר סביבות ומסגרות תזמור. מפתחים יכולים ליצור מתזמרים מותאמים אישית או להוסיף מתזמרים נוספים בנוסף למתזמני ברירת המחדל הנתמכים על ידי TFX, כלומר Local , Vertex AI , Airflow ו- Kubeflow .
כל המתזמרים חייבים לרשת מ- TfxRunner . מתזמני TFX לוקחים את אובייקט הצינור הלוגי, המכיל צינור args, רכיבים ו-DAG, ואחראים על תזמון רכיבים של צינור TFX בהתבסס על התלות שהוגדרה על ידי ה-DAG.
לדוגמה, בואו נסתכל כיצד ליצור מתזמר מותאם אישית עם BaseComponentLauncher . BaseComponentLauncher כבר מטפל במנהל התקן, מבצע ומוציא לאור של רכיב בודד. המתזמר החדש רק צריך לתזמן את ComponentLaunchers על סמך ה-DAG. מתזמר פשוט מסופק כ- LocalDagRunner , אשר מריץ את הרכיבים בזה אחר זה לפי הסדר הטופולוגי של DAG.
ניתן להשתמש במתזמר זה ב- Python DSL:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
כדי להפעיל מעל קובץ Python DSL (בהנחה שהוא נקרא dsl.py), פשוט בצע את הפעולות הבאות:
python dsl.py