ارکستراتور سفارشی
TFX طوری طراحی شده است که برای چندین محیط و چارچوب های ارکستراسیون قابل حمل باشد. توسعه دهندگان می توانند هماهنگ سفارشی ایجاد کنید و یا اضافه کردن هماهنگ اضافی علاوه بر هماهنگ به طور پیش فرض است که توسط TFX، یعنی حمایت جریان هوا ، پرتو و Kubeflow .
همه هماهنگ باید از به ارث می برند TfxRunner . ارکستراتورهای TFX شیء خط لوله منطقی را می گیرند که حاوی آرگ های خط لوله، اجزاء و DAG است و مسئول برنامه ریزی اجزای خط لوله TFX بر اساس وابستگی های تعریف شده توسط DAG هستند.
برای مثال، نگاه در چگونه برای ایجاد یک رهبر ارکستر سفارشی با ComponentLauncher . ComponentLauncher قبلاً درایور، مجری و ناشر یک مؤلفه را کنترل می کند. ارکستراتور جدید فقط باید ComponentLaunchers را بر اساس DAG برنامه ریزی کند. ارکستراسیون ساده به عنوان ارائه LocalDagRunner ، اجرا می شود که اجزای یک به یک در سفارش توپولوژیکی DAG است.
این ارکستراتور را می توان در Python DSL استفاده کرد:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
برای اجرای بالای فایل DSL پایتون (با فرض اینکه dsl.py نام دارد)، به سادگی موارد زیر را انجام دهید:
python dsl.py