به انجمن SIG TFX-Addons بپیوندید و به پیشرفت TFX کمک کنید!

راهنمای کاربر TFX

معرفی

TFX یک پلتفرم یادگیری ماشین در مقیاس تولید Google (ML) است که بر اساس TensorFlow ساخته شده است. این یک چارچوب پیکربندی و کتابخانه های مشترک برای ادغام م componentsلفه های مشترک مورد نیاز برای تعریف ، راه اندازی و نظارت بر سیستم یادگیری ماشین شما فراهم می کند.

TFX 1.0

ما خوشحال به اعلام در دسترس بودن هستند TFX 1.0.0 . این نسخه اولیه انتشار TFX پس از بتا است که API ها و مصنوعات عمومی پایدار را فراهم می کند. شما می توانید مطمئن باشید که خطوط لوله TFX آینده خود را حفظ خواهد کرد پس از ارتقا در حوزه سازگاری تعریف شده در این RFC .

نصب و راه اندازی

پایتونPyPI

pip install tfx

بسته های شبانه

TFX همچنین میزبان بسته شبانه در https://pypi-nightly.tensorflow.org در Google Cloud. برای نصب آخرین بسته شبانه ، لطفا از دستور زیر استفاده کنید:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

این بسته های شبانه را برای وابستگی های عمده TFX مانند تجزیه و تحلیل مدل TensorFlow (TFMA) ، اعتبار سنجی داده TensorFlow (TFDV) ، TensorFlow Transform (TFT) ، کتابخانه های مشترک TFX (TFX-BSL) ، ML Metadata (MLMD) نصب می کند.

درباره TFX

TFX بستری برای ساخت و مدیریت گردش کار ML در یک محیط تولید است. TFX موارد زیر را فراهم می کند:

  • مجموعه ای برای ساخت خطوط لوله ML. خطوط لوله TFX به شما امکان می دهد جریان کاری ML خود را در چندین سیستم عامل نظیر: Apache Airflow ، Apache Beam و Kubeflow Pipelines تنظیم کنید.

    اطلاعات بیشتر در مورد خط لوله TFX بدانید .

  • مجموعه ای از اجزای استاندارد که می توانید به عنوان بخشی از خط لوله یا بخشی از اسکریپت آموزش ML استفاده کنید. اجزای استاندارد TFX عملکرد اثبات شده ای را برای کمک به شما در شروع ساخت فرآیند ML به راحتی فراهم می کنند.

    اطلاعات بیشتر در مورد قطعات استاندارد TFX بدانید .

  • کتابخانه هایی که عملکرد اساسی بسیاری از اجزای استاندارد را فراهم می کنند. می توانید از کتابخانه های TFX استفاده کنید تا این قابلیت را به اجزای سفارشی خود اضافه کنید یا از آنها جداگانه استفاده کنید.

    اطلاعات بیشتر در مورد کتابخانه TFX بدانید .

TFX یک مجموعه ابزار یادگیری ماشین در مقیاس تولید Google است که مبتنی بر TensorFlow است. این یک چارچوب پیکربندی و کتابخانه های مشترک برای ادغام م componentsلفه های مشترک مورد نیاز برای تعریف ، راه اندازی و نظارت بر سیستم یادگیری ماشین شما فراهم می کند.

اجزای استاندارد TFX

خط لوله TFX یک دنباله از قطعات است که پیاده سازی یک است خط لوله ML که به طور خاص برای دستگاه های مقیاس پذیر، عملکرد بالا وظایف یادگیری طراحی شده است. این شامل مدل سازی ، آموزش ، ارائه استنباط و مدیریت استقرار در اهداف آنلاین ، تلفن همراه بومی و اهداف JavaScript است.

خط لوله TFX معمولاً شامل اجزای زیر است:

  • ExampleGen جزء ورودی اولیه از یک خط لوله که قورت و اختیاری تقسیم مجموعه داده ورودی می باشد.

  • StatisticsGen محاسبه آمار برای مجموعه داده.

  • SchemaGen به بررسی آمار و ایجاد یک طرح داده.

  • ExampleValidator به نظر می رسد برای ناهنجاریهای و ارزش از دست رفته در مجموعه داده.

  • تبدیل انجام مهندسی ویژگی در مجموعه داده.

  • ترینر آموزش مدل.

  • تیونر آهنگ hyperparameters از مدل.

  • ارزیاب انجام تجزیه و تحلیل عمیق از نتایج آموزش و کمک می کند تا شما اعتبار مدل خود را صادر، اطمینان حاصل کرد که آنها "به اندازه کافی خوب" به تولید تحت فشار قرار دادند.

  • InfraValidator چک مدل در واقع از زیرساخت servable است، و مانع از مدل بد از تحت فشار قرار دادند.

  • فروشنده اعزام مدل در زیرساخت خدمت.

  • BulkInferrer پردازش دسته ای انجام بر روی یک مدل با درخواست استنتاج برچسب ندارند.

این نمودار جریان داده ها را بین این م componentsلفه ها نشان می دهد:

جریان مonلفه ها

کتابخانه های TFX

TFX شامل هر دو کتابخانه و اجزای خط لوله است. این نمودار روابط بین کتابخانه های TFX و اجزای خط لوله را نشان می دهد:

کتابخانه ها و اجزا

TFX چندین بسته پایتون را فراهم می کند که کتابخانه هایی هستند که برای ایجاد اجزای خط لوله استفاده می شوند. شما برای ایجاد اجزای خطوط لوله خود از این کتابخانه ها استفاده خواهید کرد تا کد شما بتواند روی جنبه های منحصر به فرد خط لوله شما متمرکز شود.

کتابخانه های TFX شامل موارد زیر است:

  • TensorFlow داده اعتبار سنجی (TFDV) یک کتابخانه برای تجزیه و تحلیل و اعتبار داده یادگیری ماشین است. طراحی شده است تا بسیار مقیاس پذیر باشد و با TensorFlow و TFX به خوبی کار کند. TFDV شامل موارد زیر است:

    • محاسبه مقیاس پذیر آمار خلاصه آموزش و داده های آزمون.
    • ادغام با یک بیننده برای توزیع داده ها و آمار ، و همچنین مقایسه وجهی جفت مجموعه داده ها (Facets).

    • تولید طرحواره داده خودکار برای توصیف انتظارات در مورد داده ها مانند مقادیر ، دامنه ها و واژگان مورد نیاز.

    • یک بیننده طرح برای کمک به شما در بازرسی از طرح.

    • تشخیص ناهنجاری برای شناسایی ناهنجاری ها ، از جمله ویژگی های از دست رفته ، مقادیر خارج از محدوده یا انواع ویژگی های اشتباه ، به نام چند مورد.

    • یک مشاهده کننده ناهنجاری به طوری که شما می توانید ببینید چه ویژگی هایی دارای ناهنجاری است و برای اصلاح آنها بیشتر می آموزید.

  • TensorFlow تبدیل (TFT) یک کتابخانه برای پردازش داده ها با TensorFlow است. TensorFlow Transform برای داده هایی که نیاز به گذر کامل دارند ، مفید است:

    • مقدار ورودی را با میانگین و انحراف معیار عادی کنید.
    • با ایجاد یک واژگان روی تمام مقادیر ورودی ، رشته ها را به اعداد صحیح تبدیل کنید.
    • شناورها را با اختصاص دادن آنها به سطلها براساس توزیع داده مشاهده شده ، به اعداد صحیح تبدیل کنید.
  • TensorFlow برای آموزش مدل با TFX استفاده می شود. داده های آموزش و کد مدل سازی را بلعیده و نتیجه SavedModel را ایجاد می کند. همچنین خط لوله مهندسی ویژگی ایجاد شده توسط TensorFlow Transform برای پیش پردازش داده های ورودی ایجاد شده است.

    KerasTuner برای hyperparameters تنظیم برای مدل استفاده می شود.

  • TensorFlow مدل تجزیه و تحلیل (TFMA) یک کتابخانه برای ارزیابی مدل TensorFlow است. همراه با TensorFlow برای ایجاد EvalSavedModel استفاده می شود ، که پایه ای برای تجزیه و تحلیل آن می شود. به کاربران اجازه می دهد تا با استفاده از همان معیارهای تعریف شده در مربی خود ، مدل های خود را بر روی مقدار زیادی از داده ها به صورت توزیع شده ارزیابی کنند. این معیارها را می توان با برش های مختلف داده محاسبه و در دفترهای یادداشت Jupyter تجسم کرد.

  • TensorFlow متاداده (TFMD) فراهم می کند نمایندگی استاندارد برای ابرداده است که زمانی مفید هستند که ماشین آموزش مدل یادگیری با TensorFlow. این فراداده ممکن است در هنگام تجزیه و تحلیل داده های ورودی با دست یا به صورت خودکار تولید شود و برای اعتبار سنجی ، کاوش و تبدیل داده ها مصرف شود. قالب های سریال سازی فراداده شامل موارد زیر است:

    • طرحواره ای که داده های جدولی را توصیف می کند (به عنوان مثال ، مثالهای tf).
    • مجموعه ای از آمار خلاصه این مجموعه داده ها.
  • ML متاداده (MLMD) یک کتابخانه برای ضبط و بازیابی ابرداده در ارتباط با توسعه ML و دانشمند داده گردش است. غالباً فراداده ها از نمایش های TFMD استفاده می کنند. MLMD مدیریت تداوم با استفاده از SQL-Lite شما ، خروجی زیر ، و دیگر فروشگاه های داده های مشابه.

پشتیبانی از فناوری ها

ضروری

  • آپاچی پرتو یک منبع باز، مدل یکپارچه برای تعریف هر دو دسته ای و جریان خطوط لوله پردازش داده موازی است. TFX از Apache Beam برای اجرای خطوط لوله موازی داده استفاده می کند. این خط لوله است و سپس توسط یکی از پرتو حمایت توزیع پردازش تماس به پایان می رسد، که شامل آپاچی Flink، جرقه آپاچی، اعدام گوگل ابر Dataflow ، و دیگران.

اختیاری

تنظیم کنندگان مانند Apache Airflow و Kubeflow پیکربندی ، بهره برداری ، نظارت و نگهداری خط لوله ML را آسان می کنند.

  • آپاچی جریان هوا یک پلت فرم به برنامه نویسی نویسنده، برنامه و مانیتور گردش است. TFX از جریان هوا برای نوشتن گردش کار به عنوان نمودارهای چرخشی (DAG) کارها استفاده می کند. برنامه ریز جریان هوا هنگام دنبال کردن وابستگی های مشخص شده ، وظایف مربوط به مجموعه ای از کارگران را اجرا می کند. برنامه های خط فرمان غنی ، انجام جراحی های پیچیده بر روی DAG ها را سریع می کند. رابط کاربری غنی ، تجسم خطوط لوله در حال تولید ، نظارت بر پیشرفت و عیب یابی در صورت لزوم را آسان می کند. وقتی گردش کار به صورت کد تعریف می شود ، می تواند بیشتر حفظ شود ، قابل ویرایش باشد ، قابل آزمایش و همکاری باشد.

  • Kubeflow به ساخت استقرار یادگیری ماشین اختصاص داده شده (ML) گردش در Kubernetes ساده، قابل حمل و مقیاس پذیر است. هدف Kubeflow بازآفرینی سایر سرویس ها نیست ، بلکه ارائه یک روش ساده برای استقرار بهترین سیستم های منبع باز با نژاد برای ML در زیرساخت های متنوع است. Kubeflow خط لوله فعال ترکیب و اجرای گردش کار تجدید در Kubeflow، یکپارچه با تجربه و نوت بوک تجربه است. خدمات خطوط لوله Kubeflow در Kubernetes شامل فروشگاه Metadata میزبان ، موتور ارکستراسیون مبتنی بر کانتینر ، سرور نوت بوک و UI برای کمک به کاربران در توسعه ، اجرای و مدیریت خطوط لوله ML پیچیده در مقیاس است. Kubeflow Pipelines SDK امکان ایجاد و اشتراک اجزا و ترکیب خطوط لوله را به صورت برنامه ای فراهم می کند.

قابلیت جابجایی و قابلیت همکاری

TFX طراحی شده است که قابل حمل به محیط های متعدد و چارچوب ارکستراسیون، از جمله آپاچی جریان هوا ، آپاچی پرتو و Kubeflow . این قابل حمل به سیستم عامل های مختلف محاسبات، از جمله بر فرض، و سیستم عامل های ابر مانند است نیز از Google Cloud Platform (GCP) . به طور خاص، در تعامل TFX با خدمات GCP مدیریت serveral به مانند ابر AI بستر های نرم افزاری برای آموزش و پیش بینی ، و ابر Dataflow برای داده های توزیع شده پردازش برای چند جنبه های دیگری از چرخه عمر ML.

مدل در برابر SavedModel

مدل

مدل ، خروجی فرآیند آموزش است. این رکورد سریالی وزنه هایی است که در طی مراحل آموزش آموخته شده است. از این وزن ها می توان متعاقباً برای محاسبه پیش بینی مثالهای ورودی جدید استفاده کرد. برای TFX و TensorFlow ، "مدل" به ایست های بازرسی حاوی وزن آموخته شده تا آن نقطه اشاره دارد.

توجه داشته باشید که "مدل" همچنین ممکن است به تعریف نمودار محاسبه TensorFlow (یعنی یک فایل Python) اشاره داشته باشد که نحوه محاسبه یک پیش بینی را بیان می کند. دو حس ممکن است براساس زمینه استفاده شود.

مدل ذخیره شده

  • چه است SavedModel جهانی، زبان بی طرفی، کیمیایی، ترتیب بازیابی از یک مدل TensorFlow:
  • چرا مهم است: این باعث می شود سیستم در سطح بالاتر به تولید، تبدیل، و مصرف مدل TensorFlow با استفاده از انتزاع است.

SavedModel فرمت سریال سازی پیشنهادی برای ارائه یک مدل TensorFlow در تولید ، یا صادرات یک مدل آموزش دیده برای یک برنامه تلفن همراه یا جاوا اسکریپت بومی است. به عنوان مثال ، برای تبدیل مدل به سرویس REST برای پیش بینی ، می توانید مدل را به صورت SavedModel سریال سازی کرده و با استفاده از TensorFlow Serving آن را ارائه دهید. مشاهده خدمت مدل TensorFlow برای اطلاعات بیشتر.

طرحواره

بعضی از اجزای TFX استفاده از یک شرح داده های ورودی خود را به نام یک طرح. طرح یک نمونه از است schema.proto . طرحواره یک نوع بافر پروتکل ، به طور کلی به عنوان یک "protobuf" شناخته شده است. این طرح می تواند انواع داده ها را برای مقادیر ویژگی مشخص کند ، اینکه آیا یک ویژگی باید در همه مثال ها وجود داشته باشد ، محدوده مقدار مجاز و سایر خصوصیات. یکی از مزایای استفاده از اعتبار سنجی داده TensorFlow (TFDV) این است که با استنباط انواع ، دسته ها و دامنه های داده های آموزش ، به طور خودکار یک طرحواره ایجاد می کند.

در اینجا گزیده ای از طرحواره اولیه آورده شده است:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

اجزای زیر از طرحواره استفاده می کنند:

  • اعتبار سنجی داده TensorFlow
  • تبدیل TensorFlow

در یک خط لوله معمولی TFX اعتبار سنجی داده TensorFlow یک طرحواره ایجاد می کند که توسط سایر اجزا مصرف می شود.

در حال توسعه با TFX

TFX بستر قدرتمندی را برای هر مرحله از پروژه یادگیری ماشین ، از تحقیق ، آزمایش و توسعه روی دستگاه محلی شما ، از طریق استقرار فراهم می کند. به منظور اجتناب از کد نسخه برداری و از بین بردن پتانسیل برای آموزش / خدمت چوله آن را به شدت توصیه می شود برای اجرای خط لوله TFX را برای هر دو مدل آموزش و به کارگیری از مدل های آموزش دیده، و استفاده از تبدیل جانبی که اهرم TensorFlow تبدیل کتابخانه برای هر دو آموزش و استنتاج است. با این کار شما از همان کد پیش پردازش و تجزیه و تحلیل به طور مداوم استفاده خواهید کرد ، و از تفاوت بین داده های مورد استفاده برای آموزش و داده های ارائه شده به مدل های آموزش دیده خود در تولید ، و همچنین از نوشتن یک بار آن کد خودداری کنید.

کاوش ، تجسم و تمیز کردن داده ها

کاوش ، تجسم و تمیز کردن داده ها

خطوط لوله TFX به طور معمول با آغاز ExampleGen جزء، که داده های ورودی و فرمت آن را به عنوان tf.Examples می پذیرد. غالباً این کار پس از تقسیم داده ها به مجموعه داده های آموزش و ارزیابی انجام می شود تا در واقع دو نسخه از م Exampleلفه های نمونهGen وجود داشته باشد ، یکی برای آموزش و ارزیابی. این کار معمولا توسط دنبال StatisticsGen جزء و SchemaGen جزء، که داده های خود را بررسی کرده و در پی بردن به یک طرح داده ها و آمار. طرح و آمار خواهد شد توسط یک مصرف ExampleValidator جزء، که برای ناهنجاریهای، مقادیر از دست رفته، و انواع داده های نادرست در داده های خود را نگاه خواهد کرد. همه این اجزا اهرم قابلیت از TensorFlow داده ها اعتبار کتابخانه.

TensorFlow داده اعتبار سنجی (TFDV) یک ابزار ارزشمند در هنگام انجام اکتشاف اولیه، تجسم، و تمیز کردن از مجموعه داده های خود است. TFDV داده های شما را بررسی می کند و انواع داده ها ، دسته ها و دامنه ها را استنباط می کند و سپس به طور خودکار به شناسایی ناهنجاری ها و مقادیر از دست رفته کمک می کند. این ابزار همچنین ابزارهای تجسم را ارائه می دهد که می تواند به شما کمک کند مجموعه داده خود را بررسی و درک کنید. پس از کامل خط لوله خود را شما می توانید به عنوان خوانده شده ابرداده از MLMD و استفاده از ابزار تجسم TFDV در یک نوت بوک Jupyter به تجزیه و تحلیل داده های خود را.

به دنبال آموزش و استقرار مدل اولیه ، از TFDV می توان برای نظارت بر داده های جدید از درخواست های استنباط به مدل های مستقر شده و جستجوی ناهنجاری و / یا رانش استفاده کرد. این امر به ویژه برای داده های سری زمانی که در اثر روند یا فصلی با گذشت زمان تغییر می کنند ، مفید است و می تواند به شما در هنگام بروز مشکل در داده ها یا در صورت نیاز به آموزش مجدد مدل ها روی داده های جدید ، کمک کند.

تجسم داده ها

پس از اتمام اولین اجرای داده های خود از طریق بخشی از خط لوله خود که از TFDV استفاده می کند (به طور معمول StatisticsGen ، SchemaGen و ExampleValidator) می توانید نتایج را در یک نوت بوک به سبک Jupyter تجسم کنید. برای اجرای بیشتر ، می توانید این نتایج را هنگام انجام تنظیمات ، مقایسه کنید تا داده های شما برای مدل و برنامه شما بهینه شود.

شما ابتدا پرس و جو ML متاداده (MLMD) برای قرار دادن نتایج حاصل از این اعدام ها از این مولفه ها، و سپس با استفاده از API پشتیبانی تجسم در TFDV برای ایجاد تصویری در نوت بوک خود را. این شامل tfdv.load_statistics () و tfdv.visualize_statistics () با استفاده از این تجسم شما بهتر می تواند ویژگی های مجموعه داده های خود، و اگر اصلاح لازم را انجام.

در حال توسعه و آموزش مدل ها

مهندسی ویژگی

یک خط لوله TFX معمولی شامل یک تبدیل جزء، که مهندسی از ویژگی های با اعمال نفوذ از قابلیت های انجام خواهد شد TensorFlow تبدیل (TFT) کتابخانه. یک transform مصرف جزء طرح ایجاد شده توسط یک جزء SchemaGen، و اعمال تحولات داده برای ایجاد، ترکیب، و تبدیل ویژگی های که استفاده می شود برای آموزش مدل خود را. در صورت وجود احتمال وجود این موارد در داده های ارسالی برای درخواست های استنباط ، پاک سازی مقادیر از دست رفته و تبدیل انواع نیز باید در م componentلفه Transform انجام شود. برخی از ملاحظات مهم وجود دارد در هنگام طراحی کد TensorFlow برای آموزش در TFX.

مدلسازی و آموزش

نتیجه یک جزء تبدیل یک SavedModel که توان وارد خواهد شد و مورد استفاده در مدل سازی کد خود را در TensorFlow، در طول یک است ترینر جزء. این SavedModel شامل تمام تغییرات مهندسی داده است که در م componentلفه Transform ایجاد شده اند ، به طوری که تبدیل های یکسان با استفاده از کد مشابه دقیقاً در حین آموزش و استنباط انجام می شود. با استفاده از کد مدل سازی ، از جمله SavedModel از م componentلفه Transform ، می توانید داده های آموزش و ارزیابی خود را مصرف کنید و مدل خود را آموزش دهید.

هنگام کار با مدل های مبتنی برآوردگر ، آخرین بخش کد مدل سازی شما باید مدل شما را به عنوان SavedModel و هم به عنوان EvalSavedModel ذخیره کند. ذخیره به عنوان EvalSavedModel اطمینان می دهد که معیارهای مورد استفاده در زمان آموزش نیز هنگام ارزیابی در دسترس هستند (توجه داشته باشید که این مورد برای مدل های مبتنی بر کراس لازم نیست). صرفه جویی در یک EvalSavedModel نیاز است که شما وارد (TFMA) TensorFlow تجزیه و تحلیل مدل کتابخانه در جزء ترینر خود را.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

اختیاری تیونر مولفه را می توان قبل از ترینر به لحن hyperparameters (به عنوان مثال، تعداد لایه) برای مدل اضافه شده است. با استفاده از مدل داده شده و فضای جستجوی ابرپارامترها ، الگوریتم تنظیم بهترین ابرپارامترها را بر اساس هدف پیدا می کند.

تجزیه و تحلیل و درک عملکرد مدل

تجزیه و تحلیل مدل

به دنبال توسعه و آموزش اولیه مدل ، تجزیه و تحلیل و درک واقعی عملکرد مدل شما بسیار مهم است. یک خط لوله TFX معمولی شامل یک ارزیاب جزء، که اهرم قابلیت از TensorFlow تجزیه و تحلیل مدل (TFMA) کتابخانه، فراهم می کند که یک مجموعه ابزار قدرت برای این مرحله از توسعه است. جزء یک ارزیاب مصرف مدل که شما در بالا صادر شده، و اجازه می دهد به شما برای مشخص یک لیست از tfma.SlicingSpec که شما می توانید در هنگام تجسم و تجزیه و تحلیل عملکرد مدل خود استفاده کنید. هر SlicingSpec یک تکه از داده های آموزشی خود را که شما می خواهید به بررسی، مانند مقوله های خاص برای ویژگی های قطعی، یا محدوده خاص برای ویژگی های عددی تعریف می کند.

به عنوان مثال ، این امر برای تلاش برای درک عملکرد مدل شما برای بخشهای مختلف مشتریان مهم است ، که می تواند براساس خریدهای سالانه ، داده های جغرافیایی ، گروه سنی یا جنسیت تقسیم بندی شود. این می تواند به ویژه برای مجموعه داده های دارای دم طولانی مهم باشد ، جایی که عملکرد یک گروه غالب ممکن است عملکرد غیر قابل قبول گروه های مهم و در عین حال کوچکتر را پوشانده باشد. به عنوان مثال ، مدل شما ممکن است برای کارمندان متوسط ​​عملکرد خوبی داشته باشد اما برای کارکنان اجرایی به سختی شکست بخورد و دانستن این مسئله برای شما مهم باشد.

تجزیه و تحلیل و تجسم مدل

بعد از اینکه از اجرا خود را از داده های خود را از طریق آموزش مدل خود را و در حال اجرا را به اتمام ارزیاب جزء (که اهرم TFMA ) بر آموزش، شما می توانید نتایج را در یک سبک نوت بوک Jupyter تجسم. برای اجرای اضافی ، می توانید این نتایج را هنگام انجام تنظیمات مقایسه کنید ، تا زمانی که نتایج شما برای مدل و برنامه شما بهینه شود.

شما ابتدا پرس و جو ML متاداده (MLMD) برای قرار دادن نتایج حاصل از این اعدام ها از این مولفه ها، و سپس با استفاده از API پشتیبانی تجسم در TFMA برای ایجاد تصویری در نوت بوک خود را. این شامل tfma.load_eval_results و tfma.view.render_slicing_metrics با استفاده از این تجسم شما بهتر می تواند ویژگی های مدل خود را، و اگر اصلاح لازم را انجام.

اعتبارسنجی عملکرد مدل

به عنوان بخشی از تجزیه و تحلیل عملکرد یک مدل ، ممکن است بخواهید عملکرد را بر اساس یک پایه (مانند مدل در حال حاضر ارائه شده) تأیید کنید. اعتبار مدل با عبور یک کاندید و مدل پایه به انجام ارزیاب جزء. ارزیاب معیارها (به عنوان مثال AUC ، از دست دادن) را برای داوطلب و مبنای اصلی همراه با یک مجموعه متغیر از معیارهای متفاوت محاسبه می کند. سپس می توان آستانه ها را اعمال کرد تا مدل های شما را به سمت تولید سوق دهد.

تأیید اعتبار اینکه یک مدل قابل ارائه است

اعتبار سنجی مادون قرمز

قبل از استفاده از مدل آموزش دیده ، ممکن است بخواهید تأیید کنید که آیا این مدل واقعاً در زیرساخت سرویس دهنده قابل سرویس دهی است یا خیر. این امر به ویژه در محیط های تولید بسیار مهم است تا اطمینان حاصل شود که مدل تازه منتشر شده مانع پیش بینی سیستم نمی شود. InfraValidator جزء استقرار قناری از مدل خود را در یک محیط sandbox دارید، و به صورت اختیاری ارسال درخواست واقعی به بررسی کنید که مدل خود را به درستی کار می کند.

اهداف استقرار

هنگامی که مدلی را تهیه کردید و از آن راضی بودید ، اکنون زمان آن فرا رسیده است که آن را در یک یا چند هدف استقرار مستقر کنید که در آن درخواست استنباط دریافت می کند. TFX از استقرار در سه کلاس از اهداف استقرار پشتیبانی می کند. مدل های آموزش دیده ای که به عنوان SavedModels صادر شده اند می توانند به هر یک یا همه این اهداف استقرار استفاده شوند.

جریان مonلفه ها

استنباط: خدمت TensorFlow

TensorFlow خدمت (TFS) ، بالا عملکرد سیستم خدمت انعطاف پذیر برای مدلهای یادگیری ماشینی، طراحی شده برای محیط های تولید است. این یک SavedModel مصرف می کند و درخواست های استنباط را از طریق رابط های REST یا gRPC می پذیرد. این مجموعه به عنوان مجموعه ای از پردازش ها در یک یا چند سرور شبکه ، با استفاده از یکی از چندین معماری پیشرفته برای کنترل همزمان سازی و محاسبه توزیع شده ، استفاده می شود. را ببینید مستندات TFS برای اطلاعات بیشتر در حال توسعه و گسترش TFS راه حل.

در یک خط لوله معمولی، یک SavedModel است که در یک آموزش دیده ترینر جزء را برای اولین بار می شود مادون معتبر در InfraValidator جزء. InfraValidator یک سرور مدل TFS قناری را راه اندازی می کند تا در واقع به SavedModel سرویس دهد. اگر اعتبار سنجی را تصویب کرده است، یک فروشنده جزء در نهایت استقرار SavedModel به زیرساخت TFS خود را. این شامل مدیریت چندین نسخه و به روزرسانی های مدل است.

استنباط در برنامه های Native Mobile و IoT: TensorFlow Lite

TensorFlow آرشیو مجموعه ای از ابزارهای است که به توسعه دهندگان کمک اختصاص داده شده با استفاده از مدل TensorFlow آموزش دیده خود را در برنامه های کاربردی تلفن همراه و اینترنت اشیا بومی است. این همان مدل SavedModels را با سرویس TensorFlow مصرف می کند و برای بهینه سازی اندازه و عملکرد مدل های بدست آمده از بهینه سازی هایی مانند اندازه گیری و هرس ، برای چالش های اجرای دستگاه های تلفن همراه و اینترنت اشیا استفاده می کند. برای اطلاعات بیشتر در مورد استفاده از TensorFlow Lite به اسناد TensorFlow Lite مراجعه کنید.

استنباط در JavaScript: TensorFlow JS

TensorFlow JS یک کتابخانه جاوا اسکریپت برای آموزش و استقرار مدل ML در مرورگر و در Node.js. است این همان مدل های SavedMod را با TensorFlow Serving و TensorFlow Lite مصرف می کند و آنها را به قالب وب TensorFlow.js تبدیل می کند. برای اطلاعات بیشتر در مورد استفاده از TensorFlow JS به اسناد TensorFlow JS مراجعه کنید.

ایجاد خط لوله TFX با جریان هوا

بررسی جریان هوا کارگاه برای جزئیات

ایجاد خط لوله TFX با Kubeflow

برپایی

Kubeflow برای اجرای خطوط لوله در مقیاس به یک خوشه Kubernetes نیاز دارد. از طریق گزینه برای مشاهده استقرار دستورالعمل Kubeflow که راهنمای استقرار خوشه Kubeflow.

خط لوله TFX را پیکربندی و اجرا کنید

لطفا دنبال TFX در آموزش ابر AI بستر های نرم افزاری خط لوله برای اجرای عنوان مثال خط لوله TFX در Kubeflow. اجزای TFX برای ترکیب خط لوله Kubeflow محفظه شده و نمونه توانایی پیکربندی خط لوله برای خواندن مجموعه داده های عمومی بزرگ و اجرای مراحل آموزش و پردازش داده ها را در مقیاس ابر نشان می دهد.

رابط خط فرمان برای اقدامات خط لوله

TFX یک CLI یکپارچه را فراهم می کند که به انجام طیف کاملی از اقدامات خط لوله مانند ایجاد ، به روزرسانی ، اجرا ، لیست و حذف خطوط لوله در تنظیم کنندگان مختلف از جمله Apache Airflow ، Apache Beam و Kubeflow کمک می کند. برای جزئیات، لطفا به دنبال این دستورالعمل .