ارکستراسیون خطوط لوله TFX, هماهنگ سازی خطوط لوله TFX

با مجموعه‌ها، منظم بمانید ذخیره و دسته‌بندی محتوا براساس اولویت‌های شما.

پرتو آپاچی

چندین مؤلفه TFX برای پردازش داده های توزیع شده به Beam متکی هستند. علاوه بر این، TFX می تواند از Apache Beam برای هماهنگی و اجرای خط لوله DAG استفاده کند. Beam Orchestrator از BeamRunner متفاوتی نسبت به چیزی که برای پردازش داده های کامپوننت استفاده می شود استفاده می کند. با تنظیم پیش‌فرض DirectRunner ، ارکستراتور Beam می‌تواند برای اشکال‌زدایی محلی بدون ایجاد وابستگی‌های اضافی Airflow یا Kubeflow استفاده شود، که پیکربندی سیستم را ساده‌تر می‌کند.

برای جزئیات بیشتر به مثال TFX در Beam مراجعه کنید.

،

پرتو آپاچی

چندین مؤلفه TFX برای پردازش داده های توزیع شده به Beam متکی هستند. علاوه بر این، TFX می تواند از Apache Beam برای هماهنگی و اجرای خط لوله DAG استفاده کند. Beam Orchestrator از BeamRunner متفاوتی نسبت به چیزی که برای پردازش داده های کامپوننت استفاده می شود استفاده می کند. با تنظیم پیش‌فرض DirectRunner ، ارکستراتور Beam می‌تواند برای اشکال‌زدایی محلی بدون ایجاد وابستگی‌های اضافی Airflow یا Kubeflow استفاده شود، که پیکربندی سیستم را ساده‌تر می‌کند.

برای جزئیات بیشتر به مثال TFX در Beam مراجعه کنید.