به انجمن SIG TFX-Addons بپیوندید و به پیشرفت TFX کمک کنید!
این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

راهنمای کاربر TFX

مقدمه

TFX یک پلتفرم یادگیری ماشین (ML) در مقیاس تولید Google است که مبتنی بر TensorFlow است. این یک چارچوب پیکربندی و کتابخانه های مشترک برای ادغام اجزای مشترک مورد نیاز برای تعریف ، راه اندازی و نظارت بر سیستم یادگیری ماشین شما فراهم می کند.

نصب و راه اندازی

پایتون PyPI

pip install tfx

بسته های شبانه

TFX همچنین میزبان بسته های شبانه به آدرس https://pypi-nightly.tensorflow.org در Google Cloud است. برای نصب آخرین بسته شبانه ، لطفا از دستور زیر استفاده کنید:

pip install -i https://pypi-nightly.tensorflow.org/simple tfx

این بسته های شبانه را برای وابستگی های عمده TFX مانند تجزیه و تحلیل مدل TensorFlow (TFMA) ، اعتبار سنجی داده TensorFlow (TFDV) ، تبدیل TensorFlow (TFT) ، کتابخانه های مشترک TFX (TFX-BSL) ، ML Metadata (MLMD) نصب می کند.

درباره TFX

TFX بستری برای ساخت و مدیریت گردش کار ML در یک محیط تولید است. TFX موارد زیر را فراهم می کند:

  • مجموعه ای برای ساخت خطوط لوله ML. خطوط لوله TFX به شما امکان می دهند جریان کاری ML خود را در چندین سیستم عامل نظیر: Apache Airflow ، Apache Beam و Kubeflow Pipelines تنظیم کنید.

    درباره خطوط لوله TFX بیشتر بیاموزید .

  • مجموعه ای از اجزای استاندارد که می توانید به عنوان بخشی از خط لوله یا بخشی از اسکریپت آموزش ML استفاده کنید. اجزای استاندارد TFX قابلیت اثبات شده ای را برای کمک به شما در شروع ساخت فرآیند ML به راحتی فراهم می کنند.

    درباره اجزای استاندارد TFX بیشتر بیاموزید .

  • کتابخانه هایی که عملکرد اساسی بسیاری از اجزای استاندارد را فراهم می کنند. می توانید از کتابخانه های TFX استفاده کنید تا این قابلیت را به اجزای سفارشی خود اضافه کنید یا از آنها جداگانه استفاده کنید.

    درباره کتابخانه های TFX بیشتر بیاموزید .

TFX یک مجموعه ابزار یادگیری ماشین در مقیاس تولید Google است که مبتنی بر TensorFlow است. این یک چارچوب پیکربندی و کتابخانه های مشترک برای ادغام اجزای مشترک مورد نیاز برای تعریف ، راه اندازی و نظارت بر سیستم یادگیری ماشین شما فراهم می کند.

اجزای استاندارد TFX

خط لوله TFX توالی اجزای سازنده خط لوله ML است که بطور خاص برای کارهای یادگیری ماشین مقیاس پذیر و با کارایی بالا طراحی شده است. این شامل مدل سازی ، آموزش ، ارائه استنباط و مدیریت استقرار در اهداف آنلاین ، تلفن همراه بومی و اهداف JavaScript است.

خط لوله TFX معمولاً شامل اجزای زیر است:

  • ExampleGen جز component ورودی اولیه یک خط لوله است که مجموعه داده ورودی را بلعیده و به صورت اختیاری تقسیم می کند.

  • StatisticsGen آمار مجموعه داده را محاسبه می کند.

  • SchemaGen آمارها را بررسی می کند و یک طرحواره داده ایجاد می کند.

  • ExampleValidator به دنبال ناهنجاری ها و مقادیر از دست رفته در مجموعه داده است.

  • Transform مهندسی ویژگی را روی مجموعه داده انجام می دهد.

  • مربی مدل را آموزش می دهد.

  • تیونر ابر پارامترهای مدل را تنظیم می کند.

  • ارزیاب تجزیه و تحلیل عمیق نتایج آموزش را انجام می دهد و به شما کمک می کند مدل های صادر شده خود را تأیید کنید ، اطمینان حاصل کنید که "به اندازه کافی خوب" هستند تا به سمت تولید سوق داده شوند.

  • InfraValidator بررسی می کند که این مدل در واقع از زیرساخت قابل سرویس دهی است و از فشار دادن مدل بد جلوگیری می کند.

  • Pusher مدل را در زیرساخت سرویس دهنده مستقر می کند.

  • BulkInferrer پردازش دسته ای را روی یک مدل با درخواست استنباط بدون برچسب انجام می دهد.

این نمودار جریان داده ها را بین این ملفه ها نشان می دهد:

جریان مonلفه ها

کتابخانه های TFX

TFX شامل هر دو کتابخانه و اجزای خط لوله است. این نمودار روابط بین کتابخانه های TFX و اجزای خط لوله را نشان می دهد:

کتابخانه ها و اجزا

TFX چندین بسته پایتون را فراهم می کند که کتابخانه هایی هستند که برای ایجاد اجزای خط لوله استفاده می شوند. شما برای ایجاد اجزای خطوط لوله خود از این کتابخانه ها استفاده خواهید کرد تا کد شما بتواند روی جنبه های منحصر به فرد خط لوله شما متمرکز شود.

کتابخانه های TFX شامل موارد زیر است:

  • اعتبار سنجی داده TensorFlow (TFDV) کتابخانه ای برای تجزیه و تحلیل و اعتبار سنجی داده های یادگیری ماشین است. طراحی شده است تا بسیار مقیاس پذیر باشد و با TensorFlow و TFX به خوبی کار کند. TFDV شامل موارد زیر است:

    • محاسبه مقیاس پذیر آمار خلاصه آموزش و داده های آزمون.
    • ادغام با یک بیننده برای توزیع داده ها و آمار ، و همچنین مقایسه وجهی جفت مجموعه داده ها (Facet).

    • تولید طرحواره داده خودکار برای توصیف انتظارات در مورد داده ها مانند مقادیر ، دامنه ها و واژگان مورد نیاز.

    • یک بیننده طرح برای کمک به شما در بازرسی از طرح.

    • تشخیص ناهنجاری برای شناسایی ناهنجاری ها ، از جمله ویژگی های از دست رفته ، مقادیر خارج از محدوده یا انواع ویژگی های اشتباه ، به نام چند مورد.

    • یک مشاهده کننده ناهنجاری به طوری که شما می توانید ببینید چه ویژگی هایی دارای ناهنجاری است و برای اصلاح آنها بیشتر می آموزید.

  • TensorFlow Transform (TFT) کتابخانه ای برای پیش پردازش داده ها با TensorFlow است. TensorFlow Transform برای داده هایی که نیاز به گذر کامل دارند ، مفید است:

    • مقدار ورودی را با میانگین و انحراف معیار عادی کنید.
    • با ایجاد یک واژگان روی تمام مقادیر ورودی ، رشته ها را به اعداد صحیح تبدیل کنید.
    • شناورها را با اختصاص دادن آنها به سطلها براساس توزیع داده مشاهده شده ، به اعداد صحیح تبدیل کنید.
  • TensorFlow برای مدل های آموزشی با TFX استفاده می شود. داده های آموزش و کد مدل سازی را بلعیده و نتیجه SavedModel را ایجاد می کند. همچنین خط لوله مهندسی ویژگی ایجاد شده توسط TensorFlow Transform برای پیش پردازش داده های ورودی ایجاد شده است.

    KerasTuner برای تنظیم بیش پارامترهای مدل استفاده می شود.

  • تجزیه و تحلیل مدل TensorFlow (TFMA) کتابخانه ای برای ارزیابی مدل های TensorFlow است. همراه با TensorFlow برای ایجاد یک EvalSavedModel استفاده می شود ، که پایه ای برای تجزیه و تحلیل آن می شود. به کاربران این امکان را می دهد تا با استفاده از همان معیارهای تعریف شده در مربی خود ، مدل های خود را بر روی مقدار زیادی داده به صورت توزیع شده ارزیابی کنند. این معیارها را می توان با برشهای مختلف داده محاسبه و در دفترهای یادداشت Jupyter تجسم کرد.

  • TensorFlow Metadata (TFMD) نمایش های استانداردی برای فراداده ارائه می دهد که هنگام آموزش مدل های یادگیری ماشین با TensorFlow مفید هستند. این فراداده ممکن است در هنگام تجزیه و تحلیل داده های ورودی به صورت دستی یا اتوماتیک تولید شود و برای اعتبار سنجی ، کاوش و تبدیل داده ها مصرف شود. قالب های سریال سازی فراداده شامل موارد زیر است:

    • طرحواره ای که داده های جدولی را توصیف می کند (به عنوان مثال ، مثالهای tf).
    • مجموعه ای از آمار خلاصه این مجموعه داده ها.
  • ML Metadata (MLMD) کتابخانه ای برای ضبط و بازیابی فراداده مربوط به ML و روند کار دانشمند داده است. غالباً فراداده ها از نمایش های TFMD استفاده می کنند. MLMD با استفاده از SQL-Lite ، MySQL و سایر ذخیره داده های مشابه ، ماندگاری را مدیریت می کند.

پشتیبانی از فناوری ها

ضروری

  • Apache Beam یک مدل یکپارچه منبع باز برای تعریف خطوط پردازش همزمان و دسته ای داده ها است. TFX از Apache Beam برای اجرای خطوط لوله موازی داده استفاده می کند. سپس خط لوله توسط یکی از پشتیبان های پردازش توزیع شده پشتیبانی شده توسط Beam اجرا می شود که شامل Apache Flink ، Apache Spark ، Google Cloud Dataflow و سایر موارد است.

اختیاری

تنظیم کنندگان مانند Apache Airflow و Kubeflow پیکربندی ، بهره برداری ، نظارت و نگهداری خط لوله ML را آسان می کنند.

  • Apache Airflow بستری است برای ایجاد برنامه نویسی ، برنامه ریزی و نظارت بر گردش کار. TFX از جریان هوا برای نوشتن گردش کار به عنوان نمودارهای چرخشی (DAG) کارها استفاده می کند. برنامه ریز جریان هوا هنگام دنبال کردن وابستگی های مشخص شده ، وظایف مربوط به مجموعه ای از کارگران را اجرا می کند. برنامه های خط فرمان غنی ، انجام جراحی های پیچیده بر روی DAG ها را سریع می کند. رابط کاربری غنی ، تجسم خطوط لوله در حال تولید ، نظارت بر پیشرفت و عیب یابی در صورت لزوم را آسان می کند. وقتی گردش کار به صورت کد تعریف می شود ، می تواند بیشتر حفظ شود ، قابل ویرایش باشد ، قابل آزمایش و همکاری باشد.

  • Kubeflow اختصاص دارد به ایجاد روندهای کار یادگیری ماشین (ML) در Kubernetes ، ساده ، قابل حمل و مقیاس پذیر. هدف Kubeflow بازآفرینی سایر سرویس ها نیست ، بلکه ارائه یک روش ساده برای استقرار بهترین سیستم های منبع باز با نژاد برای ML در زیرساخت های متنوع است. خطوط لوله Kubeflow ترکیب و اجرای جریانهای کاری قابل تکرار را در Kubeflow ، یکپارچه با آزمایش و تجربیات مبتنی بر نوت بوک امکان پذیر می کند. خدمات خطوط لوله Kubeflow در Kubernetes شامل فروشگاه Metadata میزبان ، موتور ارکستراسیون مبتنی بر کانتینر ، سرور نوت بوک و UI برای کمک به کاربران در توسعه ، اجرای و مدیریت خطوط لوله پیچیده ML در مقیاس است. Kubeflow Pipelines SDK امکان ایجاد و اشتراک اجزا و ترکیب خطوط لوله را به صورت برنامه ای فراهم می کند.

قابلیت جابجایی و قابلیت همکاری

TFX به گونه ای طراحی شده است که در چندین محیط و چارچوب های ارکستراسیون ، از جمله Apache Airflow ، Apache Beam و Kubeflow قابل حمل است . همچنین برای سیستم عامل های مختلف محاسباتی ، از جمله در محوطه ، و سیستم عامل های ابری مانند Google Cloud Platform (GCP) قابل حمل است . به طور خاص ، TFX با سرویس های GCP مدیریتی مانند Cloud AI Platform برای آموزش و پیش بینی و Cloud Dataflow برای پردازش داده های توزیع شده برای چندین جنبه دیگر از چرخه حیات ML همکاری می کند.

مدل در برابر SavedModel

مدل

مدل ، خروجی فرآیند آموزش است. این رکورد سریالی وزنه هایی است که در طی مراحل آموزش آموخته شده است. از این وزن ها می توان متعاقباً برای محاسبه پیش بینی مثالهای ورودی جدید استفاده کرد. برای TFX و TensorFlow ، "مدل" به ایست های بازرسی حاوی وزن آموخته شده تا آن نقطه اشاره دارد.

توجه داشته باشید که "مدل" همچنین ممکن است به تعریف نمودار محاسبه TensorFlow (یعنی یک فایل Python) اشاره داشته باشد که نحوه محاسبه یک پیش بینی را بیان می کند. این دو حس ممکن است براساس زمینه استفاده شوند.

مدل ذخیره شده

  • SavedModel چیست: یک سریال جهانی ، خنثی از زبان ، هرمتیک ، قابل بازیابی از یک مدل TensorFlow.
  • چرا مهم است : این سیستم های سطح بالاتر را قادر می سازد تا مدلهای TensorFlow را با استفاده از یک انتزاع واحد تولید ، تبدیل و مصرف کنند.

SavedModel فرمت سریال سازی پیشنهادی برای ارائه یک مدل TensorFlow در تولید ، یا صادرات یک مدل آموزش دیده برای یک برنامه تلفن همراه یا جاوا اسکریپت بومی است. به عنوان مثال ، برای تبدیل مدل به سرویس REST برای پیش بینی ، می توانید مدل را به صورت SavedModel سریال سازی کرده و با استفاده از TensorFlow Serving آن را ارائه دهید. برای کسب اطلاعات بیشتر به ارائه مدل TensorFlow مراجعه کنید.

طرحواره

برخی از اجزای TFX از توصیف داده های ورودی شما به نام طرحواره استفاده می کنند . طرحواره نمونه ای از schema.proto است . طرحواره ها نوعی بافر پروتکل هستند که بیشتر به عنوان "protobuf" شناخته می شوند. این طرح می تواند انواع داده ها را برای مقادیر ویژگی مشخص کند ، خواه یک ویژگی باید در همه مثال ها وجود داشته باشد ، محدوده مقدار مجاز و سایر خصوصیات. یکی از مزایای استفاده از اعتبار سنجی داده TensorFlow (TFDV) این است که با استنباط انواع ، دسته ها و دامنه های داده های آموزش ، به طور خودکار یک طرحواره ایجاد می کند.

در اینجا گزیده ای از طرح اولیه طرحواره وجود دارد:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

اجزای زیر از طرحواره استفاده می کنند:

  • اعتبار سنجی داده TensorFlow
  • تبدیل TensorFlow

در یک خط لوله معمولی TFX اعتبار سنجی داده TensorFlow یک طرحواره ایجاد می کند که توسط سایر اجزا مصرف می شود.

در حال توسعه با TFX

TFX بستر قدرتمندی را برای هر مرحله از پروژه یادگیری ماشین ، از تحقیق ، آزمایش و توسعه روی دستگاه محلی شما ، از طریق استقرار فراهم می کند. به منظور جلوگیری از تکرار کد و از بین بردن پتانسیل آموزش / خدمت کجی ، اکیداً توصیه می شود خط لوله TFX خود را برای آموزش مدل و استقرار مدل های آموزش دیده پیاده سازی کنید و از م componentsلفه های Transform استفاده کنید که از کتابخانه TensorFlow Transform برای هر دو آموزش و استنباط استفاده می کنند. با این کار شما از همان کد پیش پردازش و تجزیه و تحلیل به طور مداوم استفاده خواهید کرد ، و از تفاوت بین داده های مورد استفاده برای آموزش و داده های ارائه شده به مدل های آموزش دیده خود در تولید ، و همچنین از نوشتن یک بار آن کد خودداری کنید.

کاوش ، تجسم و تمیز کردن داده ها

کاوش ، تجسم و تمیز کردن داده ها

خطوط لوله TFX معمولاً با یک م Example لفه ExampleGen شروع می شوند ، که داده های ورودی را می پذیرد و آنها را به صورت tf شکل می دهد. غالباً این کار پس از تقسیم داده ها به مجموعه داده های آموزش و ارزیابی انجام می شود تا در واقع دو نسخه از م Exampleلفه های مثالGen وجود داشته باشد ، یکی برای آموزش و ارزیابی. این به طور معمول با یک جز Stat StatisticsGen و یک جز Sc SchemaGen دنبال می شود ، که داده های شما را بررسی می کند و یک طرحواره و آمار داده را استنباط می کند. این نمودار و آمار توسط یک م Example لفه ExampleValidator مصرف می شود ، که به دنبال ناهنجاری ها ، مقادیر از دست رفته و انواع داده های نادرست در داده های شما خواهد بود. همه این م componentsلفه ها از قابلیت های کتابخانه اعتبار سنجی داده TensorFlow استفاده می کنند.

اعتبار سنجی داده TensorFlow (TFDV) ابزاری ارزشمند هنگام انجام کاوش اولیه ، تجسم و تمیز کردن مجموعه داده شماست. TFDV داده های شما را بررسی می کند و انواع داده ها ، دسته ها و دامنه ها را استنباط می کند و سپس به طور خودکار به شناسایی ناهنجاری ها و مقادیر از دست رفته کمک می کند. این ابزار همچنین ابزارهای تجسم را ارائه می دهد که می تواند به شما کمک کند مجموعه داده خود را بررسی و درک کنید. پس از اتمام خط لوله ، می توانید فراداده ها را از MLMD بخوانید و از ابزارهای تجسم TFDV در یک نوت بوک Jupyter برای تجزیه و تحلیل داده های خود استفاده کنید.

به دنبال آموزش و استقرار مدل اولیه ، از TFDV می توان برای نظارت بر داده های جدید از درخواست های استنباط به مدل های مستقر شده و جستجوی ناهنجاری ها و / یا رانش استفاده کرد. این امر خصوصاً برای داده های سری زمانی که در اثر روند یا فصلی با گذشت زمان تغییر می کنند ، مفید است و می تواند در هنگام بروز مشکل در داده ها یا در صورت نیاز به آموزش مجدد مدل ها روی داده های جدید ، به شما کمک کند.

تجسم داده ها

پس از اتمام اولین اجرای داده های خود از طریق بخشی از خط لوله خود که از TFDV استفاده می کند (به طور معمول StatisticsGen ، SchemaGen و ExampleValidator) می توانید نتایج را در یک نوت بوک به سبک Jupyter تجسم کنید. برای اجرای بیشتر ، می توانید این نتایج را هنگام انجام تنظیمات ، مقایسه کنید تا داده های شما برای مدل و برنامه شما بهینه شود.

ابتدا ML Metadata (MLMD) را جستجو خواهید کرد تا نتایج این اجزای سازنده را بیابید و سپس از API پشتیبانی تجسم در TFDV برای ایجاد تجسم در نوت بوک خود استفاده می کنید. این شامل tfdv.load_statistics () و tfdv.visual__statistics () با استفاده از این تجسم می توانید خصوصیات مجموعه داده خود را بهتر درک کنید ، و در صورت لزوم آن را اصلاح کنید.

در حال توسعه و آموزش مدل ها

مهندسی ویژگی

یک خط لوله معمولی TFX شامل یک م componentلفه Transform است که با استفاده از قابلیت های کتابخانه TensorFlow Transform (TFT) مهندسی ویژگی را انجام می دهد. یک م componentلفه Transform از طرحواره ایجاد شده توسط م componentلفه SchemaGen استفاده می کند و از تغییرات داده برای ایجاد ، ترکیب و تبدیل ویژگی هایی که برای آموزش مدل شما استفاده می شود ، استفاده می کند. در صورت وجود احتمال وجود این موارد در داده های ارسالی برای درخواست های استنباط ، پاک سازی مقادیر از دست رفته و تبدیل انواع نیز باید در م componentلفه Transform انجام شود. در هنگام طراحی کد TensorFlow برای آموزش در TFX ، برخی نکات مهم وجود دارد .

مدلسازی و آموزش

نتیجه یک جزء تبدیل یک SavedModel که توان وارد خواهد شد و مورد استفاده در مدل سازی کد خود را در TensorFlow، در طول یک است ترینر جزء. این SavedModel شامل تمام تغییرات مهندسی داده است که در م componentلفه Transform ایجاد شده اند ، به طوری که تبدیل های یکسان با استفاده از همان کد دقیق در حین آموزش و استنباط انجام می شود. با استفاده از کد مدل سازی ، از جمله SavedModel از م componentلفه Transform ، می توانید داده های آموزش و ارزیابی خود را مصرف کنید و مدل خود را آموزش دهید.

هنگام کار با مدل های مبتنی برآوردگر ، آخرین بخش کد مدل سازی شما باید مدل شما را به عنوان SavedModel و هم به عنوان EvalSavedModel ذخیره کند. ذخیره به عنوان EvalSavedModel اطمینان می دهد که معیارهای مورد استفاده در زمان آموزش نیز هنگام ارزیابی در دسترس هستند (توجه داشته باشید که این مورد برای مدل های مبتنی بر کراس لازم نیست). ذخیره EvalSavedModel مستلزم آن است که کتابخانه TensorFlow Analysis Model (TFMA) را در جز component Trainer خود وارد کنید.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

برای تنظیم بیش از حد پارامترها (به عنوان مثال ، تعداد لایه ها) برای مدل ، می توان یک م Train لفه تنظیم کننده اختیاری اضافه کرد. با استفاده از مدل داده شده و فضای جستجوی ابرپارامترها ، الگوریتم تنظیم بهترین ابرپارامترها را بر اساس هدف پیدا می کند.

تجزیه و تحلیل و درک عملکرد مدل

تحلیل مدل

به دنبال توسعه و آموزش اولیه مدل ، تجزیه و تحلیل و درک واقعی عملکرد مدل شما بسیار مهم است. یک خط لوله معمولی TFX شامل یک م componentلفه ارزیابی کننده است که از قابلیت های کتابخانه TensorFlow Model Analysis (TFMA) استفاده می کند ، که مجموعه ابزار قدرت را برای این مرحله از توسعه فراهم می کند. یک م Evلفه ارزیاب مدلی را که در بالا صادر کردید مصرف می کند و به شما اجازه می دهد لیستی از tfma.SlicingSpec را مشخص کنید که می توانید هنگام تجسم و تجزیه و تحلیل عملکرد مدل خود استفاده کنید. هر SlicingSpec برشی از داده های آموزشی شما را که می خواهید بررسی کنید ، تعریف می کند ، مانند دسته های خاص برای ویژگی های دسته بندی ، یا دامنه های خاص برای ویژگی های عددی.

به عنوان مثال ، این امر برای تلاش برای درک عملکرد مدل شما برای بخشهای مختلف مشتریان مهم است ، که می تواند بر اساس خریدهای سالانه ، داده های جغرافیایی ، گروه سنی یا جنسیت تقسیم بندی شود. این می تواند به ویژه برای مجموعه داده های دارای دم طولانی مهم باشد ، جایی که عملکرد یک گروه غالب ممکن است عملکرد غیر قابل قبول گروه های مهم و در عین حال کوچکتر را پوشانده باشد. به عنوان مثال ، مدل شما ممکن است برای کارمندان متوسط ​​عملکرد خوبی داشته باشد اما برای کارکنان اجرایی به سختی شکست بخورد و دانستن این مسئله برای شما مهم باشد.

تجزیه و تحلیل و تجسم مدل

بعد از اینکه اولین آموزش داده های خود را از طریق آموزش مدل و اجرای م Evلفه ارزیاب (که از TFMA استفاده می کند ) در مورد نتایج آموزش به پایان رساندید ، می توانید نتایج را در یک دفترچه به سبک Jupyter تجسم کنید. برای اجرای اضافی ، می توانید این نتایج را هنگام انجام تنظیمات مقایسه کنید ، تا زمانی که نتایج شما برای مدل و برنامه شما بهینه شود.

ابتدا ML Metadata (MLMD) را جستجو خواهید کرد تا نتایج این اجزای سازنده را پیدا کنید و سپس از API پشتیبانی تجسم در TFMA برای ایجاد تجسم در نوت بوک خود استفاده می کنید. این شامل tfma.load_eval_results و tfma.view.render_slicing_metrics با استفاده از این تجسم می توانید ویژگی های مدل خود را بهتر درک کنید و در صورت لزوم اصلاح کنید.

اعتبارسنجی عملکرد مدل

به عنوان بخشی از تجزیه و تحلیل عملکرد یک مدل ، ممکن است بخواهید عملکرد را بر اساس یک پایه (مانند مدل در حال حاضر ارائه شده) تأیید کنید. اعتبارسنجی مدل با انتقال هر دو مدل کاندیدا و پایه به م Ev لفه ارزیابی کننده انجام می شود. ارزیاب معیارها (به عنوان مثال AUC ، از دست دادن) را برای داوطلب و مبنای اصلی همراه با یک مجموعه متغیر از معیارهای متفاوت محاسبه می کند. سپس ممکن است آستانه ها اعمال شوند تا مدل های شما را به سمت تولید سوق دهند.

تأیید اعتبار اینکه یک مدل قابل ارائه است

اعتبار سنجی مادون قرمز

قبل از استفاده از مدل آموزش دیده ، ممکن است بخواهید تأیید کنید که آیا این مدل واقعاً در زیرساخت سرویس دهنده قابل سرویس دهی است یا خیر. این امر به ویژه در محیط های تولید بسیار مهم است تا اطمینان حاصل شود که مدل تازه منتشر شده مانع پیش بینی سیستم نمی شود. م Inf لفه InfraValidator یک مدل قناری را در یک محیط جعبه شن ایجاد می کند و به صورت اختیاری درخواست های واقعی ارسال می کند تا بررسی کند که مدل شما به درستی کار می کند.

اهداف استقرار

هنگامی که مدلی را تهیه کردید و از آن راضی بودید ، اکنون زمان آن فرا رسیده است که آن را در یک یا چند هدف استقرار مستقر کنید که در آن درخواست استنباط دریافت می کند. TFX از استقرار در سه کلاس از اهداف استقرار پشتیبانی می کند. مدل های آموزش دیده ای که به عنوان SavedModels صادر شده اند می توانند به هر یک یا همه این اهداف استقرار استفاده شوند.

جریان مonلفه ها

استنتاج: خدمت TensorFlow

TensorFlow خدمت (TFS) یک سیستم انعطاف پذیر با کارایی بالا برای مدل های یادگیری ماشین است که برای محیط های تولیدی طراحی شده است. این یک SavedModel مصرف می کند و درخواست های استنباط را از طریق رابط های REST یا gRPC می پذیرد. این مجموعه به عنوان مجموعه ای از پردازش ها در یک یا چند سرور شبکه ، با استفاده از یکی از چندین معماری پیشرفته برای کنترل همزمان سازی و محاسبه توزیع شده ، استفاده می شود. برای کسب اطلاعات بیشتر در مورد توسعه و استقرار راه حل های TFS ، به اسناد TFS مراجعه کنید.

در یک خط لوله معمولی ، یک SavedModel که در م componentلفه Trainer آموزش دیده است ابتدا در م component لفه InfraValidator دارای اعتبار معتبر است. InfraValidator یک سرور مدل TFS قناری را راه اندازی می کند تا در واقع به SavedModel سرویس دهد. اگر اعتبار سنجی به پایان رسیده باشد ، یک جز P Pusher سرانجام SavedModel را در زیرساخت TFS شما مستقر می کند. این شامل مدیریت چندین نسخه و به روزرسانی های مدل است.

استنباط در برنامه های Native Mobile و IoT: TensorFlow Lite

TensorFlow Lite مجموعه ای از ابزارها است که برای کمک به توسعه دهندگان در استفاده از مدل های آموزش دیده TensorFlow خود در برنامه های تلفن همراه و اینترنت اشیا اختصاص داده شده است. این همان مدل SavedMod را با TensorFlow سرویس مصرف می کند و برای بهینه سازی اندازه و عملکرد مدل های بدست آمده از بهینه سازی هایی مانند اندازه گیری و هرس ، برای چالش های اجرای دستگاه های تلفن همراه و اینترنت اشیا استفاده می کند. برای اطلاعات بیشتر در مورد استفاده از TensorFlow Lite به اسناد TensorFlow Lite مراجعه کنید.

استنباط در JavaScript: TensorFlow JS

TensorFlow JS یک کتابخانه جاوا اسکریپت برای آموزش و استقرار مدل های ML در مرورگر و در Node.js. این مدلها از SavedModels مشابه TensorFlow Serving و TensorFlow Lite استفاده می کنند و آنها را به قالب وب TensorFlow.js تبدیل می کند. برای اطلاعات بیشتر در مورد استفاده از TensorFlow JS به اسناد TensorFlow JS مراجعه کنید.

ایجاد خط لوله TFX با جریان هوا

برای جزئیات بیشتر کارگاه جریان هوا را بررسی کنید

ایجاد خط لوله TFX با Kubeflow

برپایی

Kubeflow برای اجرای خطوط لوله در مقیاس به یک خوشه Kubernetes نیاز دارد. به راهنمای استقرار Kubeflow مراجعه کنید که گزینه های استقرار خوشه Kubeflow را راهنمایی می کند.

خط لوله TFX را پیکربندی و اجرا کنید

لطفاً برای اجرای خط لوله نمونه TFX در Kubeflow ، آموزش TFX on Cloud AI Platform Pipeline را دنبال کنید. اجزای TFX برای ترکیب خط لوله Kubeflow محفظه شده اند و نمونه توانایی پیکربندی خط لوله را برای خواندن مجموعه داده های عمومی بزرگ و اجرای مراحل آموزش و پردازش داده ها در مقیاس ابر نشان می دهد.

رابط خط فرمان برای اقدامات خط لوله

TFX یک CLI یکپارچه را فراهم می کند که به انجام طیف کاملی از اقدامات خط لوله مانند ایجاد ، به روزرسانی ، اجرا ، لیست و حذف خطوط لوله در ارکستراسیون های مختلف از جمله Apache Airflow ، Apache Beam و Kubeflow کمک می کند. برای جزئیات بیشتر ، لطفاً این دستورالعمل ها را دنبال کنید.