این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.

با استفاده از رابط خط فرمان TFX

رابط خط فرمان TFX (CLI) طیف کاملی از اقدامات خط لوله را با استفاده از ارکستراتورهای خط لوله، مانند خطوط لوله Kubeflow، Pipelines Vertex انجام می دهد. ارکستراتور محلی نیز می تواند برای توسعه سریعتر یا اشکال زدایی استفاده شود. پرتو آپاچی و جریان هوای آپاچی به عنوان ویژگی های آزمایشی پشتیبانی می شوند. به عنوان مثال، می توانید از CLI برای موارد زیر استفاده کنید:

خطوط لوله ایجاد، به روز رسانی و حذف کنید.
یک خط لوله را اجرا کنید و اجرا را روی ارکسترهای مختلف نظارت کنید.
خطوط لوله و خطوط لوله اجرا می شود.

درباره TFX CLI

TFX CLI به عنوان بخشی از بسته TFX نصب شده است. تمام دستورات CLI از ساختار زیر پیروی می کنند:

tfx command-group command flags

گزینه های command-group زیر در حال حاضر پشتیبانی می شوند:

خط لوله tfx - خطوط لوله TFX را ایجاد و مدیریت کنید.
tfx run - اجرای خطوط لوله TFX را در پلتفرم های مختلف ارکستراسیون ایجاد و مدیریت کنید.
قالب tfx - دستورات آزمایشی برای فهرست کردن و کپی کردن الگوهای خط لوله TFX.

هر گروه فرمان مجموعه ای از commands را ارائه می دهد. دستورالعمل های موجود در بخش دستورات خط لوله ، دستورات اجرا و دستورات الگو را دنبال کنید تا در مورد استفاده از این دستورات بیشتر بدانید.

پرچم ها به شما امکان می دهند آرگومان ها را به دستورات CLI منتقل کنید. کلمات موجود در پرچم ها با خط فاصله ( - ) یا زیرخط ( _ ) از هم جدا می شوند. به عنوان مثال، پرچم نام خط لوله می تواند به صورت --pipeline-name یا --pipeline_name مشخص شود. این سند پرچم هایی را با زیرخط برای اختصار مشخص می کند. درباره flags استفاده شده در TFX CLI بیشتر بیاموزید.

خط لوله tfx

ساختار دستورات در گروه فرمان tfx pipeline به شرح زیر است:

tfx pipeline command required-flags [optional-flags]

از بخش های زیر برای کسب اطلاعات بیشتر در مورد دستورات در گروه فرمان tfx pipeline استفاده کنید.

ايجاد كردن

یک خط لوله جدید در ارکستراتور داده شده ایجاد می کند.

استفاده:

tfx pipeline create --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace \
--build_image --build_base_image=build-base-image]

--pipeline_path= pipeline-path

مسیر فایل پیکربندی خط لوله.

--endpoint= endpoint

(اختیاری.) نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

اگر --endpoint مشخص نشده باشد، از نام DNS سرویس درون خوشه ای به عنوان مقدار پیش فرض استفاده می شود. این نام فقط در صورتی کار می کند که دستور CLI در یک پاد روی خوشه Kubeflow Pipelines اجرا شود، مانند نمونه نوت بوک Kubeflow Jupyter .

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

** نکته مهم: ارکستراتور مورد نیاز DagRunner در فایل پیکربندی خط لوله باید با موتور انتخاب شده یا تشخیص خودکار مطابقت داشته باشد. تشخیص خودکار موتور بر اساس محیط کاربر است. اگر Apache Airflow و Kubeflow Pipelines نصب نشده باشند، به طور پیش فرض از ارکستراتور محلی استفاده می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP هنگام استفاده از خطوط لوله Kubeflow.

--namespace= namespace

(اختیاری.) فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیش‌فرض روی kubeflow است.

--build_image

(اختیاری.) هنگامی که engine kubeflow یا vertex است، TFX در صورت مشخص شدن یک تصویر ظرف برای خط لوله شما ایجاد می کند. «Dockerfile» در دایرکتوری فعلی استفاده خواهد شد و TFX به طور خودکار یکی را در صورت عدم وجود ایجاد می کند.

تصویر ساخته شده به رجیستری راه دور که در «KubeflowDagRunnerConfig» یا «KubeflowV2DagRunnerConfig» مشخص شده است، فرستاده می شود.

--build_base_image= build-base-image

(اختیاری.) هنگامی که engine kubeflow است، TFX یک تصویر ظرف برای خط لوله شما ایجاد می کند. تصویر پایه ساخت، تصویر محفظه پایه را برای استفاده در هنگام ساختن تصویر ظرف خط لوله مشخص می کند.

مثال ها:

Kubeflow:

tfx pipeline create --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

محلی:

tfx pipeline create --engine=local --pipeline_path=pipeline-path

راس:

tfx pipeline create --engine=vertex --pipeline_path=pipeline-path \
--build_image

برای تشخیص خودکار موتور از محیط کاربر، به سادگی از استفاده از پرچم موتور مانند مثال زیر اجتناب کنید. برای جزئیات بیشتر، بخش پرچم ها را بررسی کنید.

tfx pipeline create --pipeline_path=pipeline-path

به روز رسانی

یک خط لوله موجود در ارکستراتور داده شده را به روز می کند.

استفاده:

tfx pipeline update --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace --build_image]

--pipeline_path= pipeline-path

مسیر فایل پیکربندی خط لوله.

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

--build_image

(اختیاری.) هنگامی که engine kubeflow یا vertex است، TFX در صورت مشخص شدن یک تصویر ظرف برای خط لوله شما ایجاد می کند. «Dockerfile» در فهرست فعلی استفاده خواهد شد.

تصویر ساخته شده به رجیستری راه دور که در «KubeflowDagRunnerConfig» یا «KubeflowV2DagRunnerConfig» مشخص شده است، فرستاده می شود.

مثال ها:

Kubeflow:

tfx pipeline update --engine=kubeflow --pipeline_path=pipeline-path \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint \
--build_image

محلی:

tfx pipeline update --engine=local --pipeline_path=pipeline-path

راس:

tfx pipeline update --engine=vertex --pipeline_path=pipeline-path \
--build_image

گردآوری

فایل پیکربندی خط لوله را برای ایجاد یک فایل گردش کار در Kubeflow کامپایل می کند و در حین کامپایل بررسی های زیر را انجام می دهد:

بررسی می کند که آیا مسیر خط لوله معتبر است یا خیر.
بررسی می کند که آیا جزئیات خط لوله با موفقیت از فایل پیکربندی خط لوله استخراج شده است.
بررسی می کند که آیا DagRunner در پیکربندی خط لوله با موتور مطابقت دارد یا خیر.
بررسی می کند که آیا فایل گردش کار با موفقیت در مسیر بسته ارائه شده (فقط برای Kubeflow) ایجاد شده است.

توصیه می شود قبل از ایجاد یا به روز رسانی خط لوله استفاده شود.

استفاده:

tfx pipeline compile --pipeline_path=pipeline-path [--engine=engine]

--pipeline_path= pipeline-path

مسیر فایل پیکربندی خط لوله.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

مثال ها:

Kubeflow:

tfx pipeline compile --engine=kubeflow --pipeline_path=pipeline-path

محلی:

tfx pipeline compile --engine=local --pipeline_path=pipeline-path

راس:

tfx pipeline compile --engine=vertex --pipeline_path=pipeline-path

حذف

یک خط لوله را از ارکستراتور داده شده حذف می کند.

استفاده:

tfx pipeline delete --pipeline_path=pipeline-path [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--pipeline_path= pipeline-path

مسیر فایل پیکربندی خط لوله.

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx pipeline delete --engine=kubeflow --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

محلی:

tfx pipeline delete --engine=local --pipeline_name=pipeline-name

راس:

tfx pipeline delete --engine=vertex --pipeline_name=pipeline-name

فهرست

تمام خطوط لوله در ارکستراتور داده شده را فهرست می کند.

استفاده:

tfx pipeline list [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx pipeline list --engine=kubeflow --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

محلی:

tfx pipeline list --engine=local

راس:

tfx pipeline list --engine=vertex

tfx اجرا شود

ساختار دستورات در گروه دستور tfx run به شرح زیر است:

tfx run command required-flags [optional-flags]

برای کسب اطلاعات بیشتر در مورد دستورات موجود در گروه دستور tfx run از بخش های زیر استفاده کنید.

ايجاد كردن

یک نمونه اجرا جدید برای خط لوله در ارکستراتور ایجاد می کند. برای Kubeflow، جدیدترین نسخه خط لوله خط لوله در خوشه استفاده می شود.

استفاده:

tfx run create --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

نام خط لوله

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--runtime_parameter= parameter-name = parameter-value

(اختیاری.) مقدار پارامتر زمان اجرا را تنظیم می کند. می توان چندین بار برای تنظیم مقادیر چندین متغیر تنظیم کرد. فقط برای موتورهای "جریان هوا"، "kubeflow" و "vertex" قابل استفاده است.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

--project= GCP-project-id

(برای Vertex لازم است.) شناسه پروژه GCP برای خط لوله راس.

--region= GCP-region

(برای Vertex لازم است.) نام منطقه GCP مانند us-central1. برای مناطق موجود، به [مستندات Vertex](https://cloud.google.com/vertex-ai/docs/general/locations) مراجعه کنید.

مثال ها:

Kubeflow:

tfx run create --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

محلی:

tfx run create --engine=local --pipeline_name=pipeline-name

راس:

tfx run create --engine=vertex --pipeline_name=pipeline-name \
  --runtime_parameter=var_name=var_value \
  --project=gcp-project-id --region=gcp-region

خاتمه دادن

اجرای یک خط لوله معین را متوقف می کند.

** نکته مهم: در حال حاضر فقط در Kubeflow پشتیبانی می شود.

استفاده:

tfx run terminate --run_id=run-id [--endpoint=endpoint --engine=engine \
--iap_client_id=iap-client-id --namespace=namespace]

--run_id= run-id

شناسه منحصر به فرد برای اجرای خط لوله.

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

فهرست

تمام مراحل یک خط لوله را فهرست می کند.

** نکته مهم: در حال حاضر در Local و Apache Beam پشتیبانی نمی شود.

استفاده:

tfx run list --pipeline_name=pipeline-name [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

نام خط لوله

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx run list --engine=kubeflow --pipeline_name=pipeline-name --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

وضعیت

وضعیت فعلی یک اجرا را برمی‌گرداند.

** نکته مهم: در حال حاضر در Local و Apache Beam پشتیبانی نمی شود.

استفاده:

tfx run status --pipeline_name=pipeline-name --run_id=run-id [--endpoint=endpoint \
--engine=engine --iap_client_id=iap-client-id --namespace=namespace]

--pipeline_name= pipeline-name

نام خط لوله

--run_id= run-id

شناسه منحصر به فرد برای اجرای خط لوله.

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx run status --engine=kubeflow --run_id=run-id --pipeline_name=pipeline-name \
--iap_client_id=iap-client-id --namespace=namespace --endpoint=endpoint

حذف

اجرای یک خط لوله معین را حذف می کند.

** نکته مهم: در حال حاضر فقط در Kubeflow پشتیبانی می شود

استفاده:

tfx run delete --run_id=run-id [--engine=engine --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint]

--run_id= run-id

شناسه منحصر به فرد برای اجرای خط لوله.

--endpoint= endpoint

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

-- موتور = engine

(اختیاری.) ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--iap_client_id= iap-client-id

(اختیاری.) شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

مثال ها:

Kubeflow:

tfx run delete --engine=kubeflow --run_id=run-id --iap_client_id=iap-client-id \
--namespace=namespace --endpoint=endpoint

قالب tfx [تجربی]

ساختار دستورات در گروه دستوری tfx template به شرح زیر است:

tfx template command required-flags [optional-flags]

از بخش های زیر برای کسب اطلاعات بیشتر در مورد دستورات موجود در گروه فرمان tfx template استفاده کنید. الگو یک ویژگی آزمایشی است و در هر زمان ممکن است تغییر کند.

فهرست

الگوهای خط لوله TFX موجود را فهرست کنید.

استفاده:

tfx template list

کپی 🀄

یک الگو را در فهرست مقصد کپی کنید.

استفاده:

tfx template copy --model=model --pipeline_name=pipeline-name \
--destination_path=destination-path

--model= model: نام مدل ساخته شده توسط الگوی خط لوله.
--pipeline_name= pipeline-name: نام خط لوله
--destination_path= destination-path: مسیری که باید الگو را در آن کپی کنید.

آشنایی با پرچم های TFX CLI

پرچم های مشترک

-- موتور = engine

ارکستراتوری که برای خط لوله استفاده می شود. مقدار موتور باید با مقادیر زیر مطابقت داشته باشد:

kubeflow : موتور را روی Kubeflow تنظیم می کند
local : موتور را روی ارکستراتور محلی تنظیم می کند
vertex : موتور را روی Vertex Pipelines تنظیم می کند
جریان هوا : (تجربی) موتور را روی Apache Airflow تنظیم می کند
پرتو : (تجربی) موتور را روی پرتو آپاچی تنظیم می کند

اگر موتور تنظیم نشده باشد، موتور بر اساس محیط به طور خودکار شناسایی می شود.

--pipeline_name= pipeline-name

نام خط لوله

--pipeline_path= pipeline-path

مسیر فایل پیکربندی خط لوله.

--run_id= run-id

شناسه منحصر به فرد برای اجرای خط لوله.

پرچم های خاص Kubeflow

--endpoint= endpoint

نقطه پایانی سرویس Kubeflow Pipelines API. نقطه پایانی سرویس Kubeflow Pipelines API شما همان URL داشبورد Kubeflow Pipelines است. مقدار نقطه پایانی شما باید چیزی شبیه به:

https://host-name/pipeline

اگر نقطه پایانی برای خوشه خطوط لوله Kubeflow خود را نمی دانید، با سرپرست خوشه خود تماس بگیرید.

--iap_client_id= iap-client-id

شناسه مشتری برای نقطه پایانی محافظت شده IAP.

--namespace= namespace

فضای نام Kubernetes برای اتصال به Kubeflow Pipelines API. اگر فضای نام مشخص نشده باشد، مقدار به طور پیش‌فرض روی kubeflow است.

فایل های تولید شده توسط TFX CLI

هنگامی که خطوط لوله ایجاد و اجرا می شوند، چندین فایل برای مدیریت خط لوله تولید می شوند.

${HOME}/tfx/local، پرتو، جریان هوا، راس
- فراداده خط لوله خوانده شده از پیکربندی در زیر ${HOME}/tfx/${ORCHESTRATION_ENGINE}/${PIPELINE_NAME} ذخیره می‌شود. این مکان را می توان با تنظیم متغیرهای محیطی مانند AIRFLOW_HOME یا KUBEFLOW_HOME سفارشی کرد. این رفتار ممکن است در نسخه های بعدی تغییر کند. این دایرکتوری برای ذخیره اطلاعات خطوط لوله از جمله شناسه های خط لوله در خوشه Kubeflow Pipelines که برای ایجاد اجراها یا به روز رسانی خطوط لوله مورد نیاز است استفاده می شود.
- قبل از TFX 0.25، این فایل‌ها در زیر ${HOME}/${ORCHESTRATION_ENGINE} قرار داشتند. در TFX 0.25، فایل‌های موجود در مکان قدیمی به طور خودکار به مکان جدید منتقل می‌شوند تا انتقال راحت انجام شود.
- از TFX 0.27، kubeflow این فایل های ابرداده را در سیستم فایل محلی ایجاد نمی کند. با این حال، فایل های دیگری که kubeflow ایجاد می کند را در زیر ببینید.
(فقط Kubeflow) Dockerfile و یک تصویر ظرف
- خطوط لوله Kubeflow به دو نوع ورودی برای یک خط لوله نیاز دارد. این فایل ها توسط TFX در دایرکتوری فعلی تولید می شوند.
- یکی یک تصویر ظرف است که برای اجرای اجزا در خط لوله استفاده می شود. این تصویر ظرف زمانی ساخته می شود که خط لوله ای برای خطوط لوله Kubeflow ایجاد یا با پرچم --build-image به روز شود. اگر TFX CLI وجود نداشته باشد، Dockerfile ایجاد می‌کند و یک تصویر ظرف را به رجیستری مشخص‌شده در KubeflowDagRunnerConfig می‌سازد و می‌فرستد.