سازماندهی خطوط لوله TFX

با مجموعه‌ها، منظم بمانید ذخیره و دسته‌بندی محتوا براساس اولویت‌های شما.

ارکستراتور سفارشی

TFX طوری طراحی شده است که برای چندین محیط و چارچوب های ارکستراسیون قابل حمل باشد. توسعه دهندگان می توانند هماهنگ سفارشی ایجاد کنید و یا اضافه کردن هماهنگ اضافی علاوه بر هماهنگ به طور پیش فرض است که توسط TFX، یعنی حمایت جریان هوا ، پرتو و Kubeflow .

همه هماهنگ باید از به ارث می برند TfxRunner . ارکستراتورهای TFX شیء خط لوله منطقی را می گیرند که حاوی آرگ های خط لوله، اجزاء و DAG است و مسئول برنامه ریزی اجزای خط لوله TFX بر اساس وابستگی های تعریف شده توسط DAG هستند.

برای مثال، نگاه در چگونه برای ایجاد یک رهبر ارکستر سفارشی با ComponentLauncher . ComponentLauncher قبلاً درایور، مجری و ناشر یک مؤلفه را کنترل می کند. ارکستراتور جدید فقط باید ComponentLaunchers را بر اساس DAG برنامه ریزی کند. ارکستراسیون ساده به عنوان ارائه LocalDagRunner ، اجرا می شود که اجزای یک به یک در سفارش توپولوژیکی DAG است.

این ارکستراتور را می توان در Python DSL استفاده کرد:

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

برای اجرای بالای فایل DSL پایتون (با فرض اینکه dsl.py نام دارد)، به سادگی موارد زیر را انجام دهید:

python dsl.py