انضم إلى مجتمع SIG TFX-Addons وساعد في جعل TFX أفضل! انضم إلى SIG TFX-Addons

دليل مستخدم TFX

مقدمة

TFX عبارة عن نظام أساسي للتعلم الآلي (ML) على نطاق إنتاج Google يعتمد على TensorFlow. يوفر إطارًا للتكوين ومكتبات مشتركة لدمج المكونات المشتركة اللازمة لتحديد نظام التعلم الآلي الخاص بك وتشغيله ومراقبته.

TFX 1.0.0 تحديث

ويسعدنا أن نعلن عن توافر TFX 1.0.0 . هذا هو الإصدار الأولي بعد الإصدار التجريبي من TFX ، والذي يوفر واجهات برمجة تطبيقات عامة وعناصر أثرية مستقرة. يمكنك التأكد من أن أنابيب TFX مستقبلك سوف نستمر في العمل بعد ترقية ضمن نطاق التوافق المنصوص عليها في هذا RFC .

التركيب

بايثونPyPI

pip install tfx

الحزم الليلية

كما يستضيف TFX حزم ليلا في https://pypi-nightly.tensorflow.org على جوجل الغيمة. لتثبيت أحدث حزمة ليلية ، الرجاء استخدام الأمر التالي:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

سيؤدي هذا إلى تثبيت الحزم الليلية للاعتمادات الرئيسية لـ TFX مثل تحليل نموذج TensorFlow (TFMA) والتحقق من صحة بيانات TensorFlow (TFDV) وتحويل TensorFlow (TFT) ومكتبات TFX الأساسية المشتركة (TFX-BSL) و ML Metadata (MLMD).

حول TFX

TFX عبارة عن منصة لبناء وإدارة تدفقات عمل ML في بيئة إنتاج. توفر TFX ما يلي:

  • مجموعة أدوات لبناء خطوط أنابيب ML. تتيح لك خطوط أنابيب TFX تنظيم سير عمل ML الخاص بك على العديد من الأنظمة الأساسية ، مثل: Apache Airflow و Apache Beam و Kubeflow Pipelines.

    تعلم المزيد عن خطوط الأنابيب TFX .

  • مجموعة من المكونات القياسية التي يمكنك استخدامها كجزء من خط الأنابيب ، أو كجزء من البرنامج النصي لتدريب تعلم الآلة. توفر مكونات TFX القياسية وظائف مثبتة لمساعدتك على البدء في بناء عملية ML بسهولة.

    معرفة المزيد حول مكونات القياسية TFX .

  • مكتبات توفر الوظائف الأساسية للعديد من المكونات القياسية. يمكنك استخدام مكتبات TFX لإضافة هذه الوظيفة إلى المكونات المخصصة الخاصة بك ، أو استخدامها بشكل منفصل.

    تعلم المزيد عن المكتبات TFX .

TFX عبارة عن مجموعة أدوات للتعلم الآلي على نطاق إنتاج Google تعتمد على TensorFlow. يوفر إطارًا للتكوين ومكتبات مشتركة لدمج المكونات المشتركة اللازمة لتحديد نظام التعلم الآلي الخاص بك وتشغيله ومراقبته.

مكونات TFX القياسية

A TFX خط أنابيب هو سلسلة من المكونات التي تنفيذ خط أنابيب ML الذي تم تصميمه خصيصا لآلة قابلة للتطوير وعالية الأداء مهام التعلم. يتضمن ذلك النمذجة والتدريب وخدمة الاستدلال وإدارة عمليات النشر للأهداف عبر الإنترنت والجوّال الأصلي وجافا سكريبت.

يشتمل خط أنابيب TFX عادةً على المكونات التالية:

  • ExampleGen هو عنصر المدخلات الأولية من خط الأنابيب الذي يبتلع ويقسم اختياريا بيانات الإدخال.

  • StatisticsGen بحساب إحصاءات عن مجموعة البيانات.

  • SchemaGen يدرس الإحصاءات ويخلق مخطط البيانات.

  • ExampleValidator يبحث عن الشذوذ والقيم المفقودة في ورقة العمل.

  • تحويل ينفذ الهندسة الميزة على مجموعة البيانات.

  • مدرب يدرب النموذج.

  • موالف الإيقاعات hyperparameters للنموذج.

  • مقيم ينفذ تحليل عميق للنتائج التدريب وتساعد على التحقق من صحة نماذج تصديره، والتأكد من أنها "جيدة بما فيه الكفاية" لتكون دفعت للإنتاج.

  • InfraValidator يتحقق النموذج هو قابل للعرض فعلا من البنية التحتية، ويمنع نموذج سيء من يتم دفعها.

  • تاجر مخدرات بنشر نموذج على البنية التحتية التي تخدم.

  • BulkInferrer معالجة ينفذ دفعة على نموذج لطلبات الاستدلال لا تحمل علامات.

يوضح هذا الرسم البياني تدفق البيانات بين هذه المكونات:

تدفق المكون

مكتبات TFX

يتضمن TFX كلاً من مكتبات ومكونات خطوط الأنابيب. يوضح هذا الرسم التخطيطي العلاقات بين مكتبات TFX ومكونات خطوط الأنابيب:

المكتبات والمكونات

يوفر TFX العديد من حزم Python وهي المكتبات المستخدمة لإنشاء مكونات خط الأنابيب. ستستخدم هذه المكتبات لإنشاء مكونات خطوط الأنابيب الخاصة بك حتى تتمكن التعليمات البرمجية الخاصة بك من التركيز على الجوانب الفريدة لخط الأنابيب الخاص بك.

تتضمن مكتبات TFX:

  • TensorFlow التحقق من صحة البيانات (TFDV) هي مكتبة للتحليل والتحقق من صحة البيانات تعلم الآلة. إنه مصمم ليكون قابلاً للتطوير بدرجة عالية ولعمل بشكل جيد مع TensorFlow و TFX. يتضمن TFDV:

    • حساب قابل للقياس لإحصائيات موجزة للتدريب وبيانات الاختبار.
    • التكامل مع عارض لتوزيعات البيانات والإحصاءات ، وكذلك مقارنة الأوجه لأزواج مجموعات البيانات (الواجهات).

    • إنشاء مخطط البيانات الآلي لوصف التوقعات حول البيانات مثل القيم والنطاقات والمفردات المطلوبة.

    • عارض المخطط لمساعدتك في فحص المخطط.

    • اكتشاف العيوب لتحديد الحالات الشاذة ، مثل الميزات المفقودة أو القيم خارج النطاق أو أنواع الميزات الخاطئة ، على سبيل المثال لا الحصر.

    • عارض الشذوذ حتى تتمكن من معرفة الميزات التي بها حالات شاذة ومعرفة المزيد من أجل تصحيحها.

  • TensorFlow تحويل (TFT) هي مكتبة لتجهيزها البيانات مع TensorFlow. يعتبر TensorFlow Transform مفيدًا للبيانات التي تتطلب مرورًا كاملاً ، مثل:

    • تطبيع قيمة الإدخال بالمتوسط ​​والانحراف المعياري.
    • تحويل السلاسل إلى أعداد صحيحة عن طريق توليد مفردات فوق كل قيم الإدخال.
    • قم بتحويل العوامات إلى أعداد صحيحة عن طريق تخصيصها لمجموعات بناءً على توزيع البيانات المرصود.
  • TensorFlow يستخدم لتدريب النماذج مع TFX. يستوعب بيانات التدريب ورمز النمذجة ويخلق نتيجة SavedModel. كما أنه يدمج خط أنابيب هندسيًا للميزات تم إنشاؤه بواسطة TensorFlow Transform للمعالجة المسبقة لبيانات الإدخال.

    KerasTuner يستخدم لhyperparameters ضبط للنموذج.

  • TensorFlow تحليل نموذج (TFMA) هي مكتبة لتقييم نماذج TensorFlow. يتم استخدامه مع TensorFlow لإنشاء نموذج EvalSavedModel ، والذي يصبح أساس تحليله. يسمح للمستخدمين بتقييم نماذجهم على كميات كبيرة من البيانات بطريقة موزعة ، باستخدام نفس المقاييس المحددة في مدربهم. يمكن حساب هذه المقاييس على شرائح مختلفة من البيانات وتصور في دفاتر Jupyter.

  • TensorFlow الفوقية (TFMD) يوفر التمثيل القياسية لالفوقية التي هي مفيدة عندما آلة تدريب نماذج التعلم مع TensorFlow. قد يتم إنتاج البيانات الوصفية يدويًا أو تلقائيًا أثناء تحليل بيانات الإدخال ، ويمكن استهلاكها للتحقق من صحة البيانات والاستكشاف والتحويل. تتضمن تنسيقات تسلسل البيانات الوصفية ما يلي:

    • مخطط يصف البيانات الجدولية (على سبيل المثال ، أمثلة tf).
    • مجموعة من الإحصائيات الموجزة لمجموعات البيانات هذه.
  • ML الفوقية (MLMD) هي مكتبة لتسجيل واسترجاع البيانات الوصفية المرتبطة مع ML المطور وعالم البيانات سير العمل. غالبًا ما تستخدم البيانات الوصفية تمثيلات TFMD. MLMD يدير استمرار استخدام SQL-لايت ، الخلية ، ومخازن البيانات الأخرى المماثلة.

دعم التقنيات

مطلوب

  • أباتشي الشعاع هو مفتوح المصدر، نموذج موحد لتحديد حد سواء دفعة وتدفق أنابيب تجهيز بيانات موازية. يستخدم TFX Apache Beam لتنفيذ خطوط أنابيب موازية للبيانات. ثم يتم تنفيذ خط أنابيب من جانب واحد من شعاع المدعومة معالجة الظهر ينتهي الموزعة، والتي تشمل أباتشي Flink، سبارك أباتشي، جوجل الغيمة تدفق البيانات ، وغيرها.

خياري

يجعل المنظمون مثل Apache Airflow و Kubeflow تكوين خط أنابيب ML وتشغيله ومراقبته وصيانته أسهل.

  • أباتشي تدفق الهواء هو منبر برمجيا المؤلف والجدول الزمني ومراقبة سير العمل. يستخدم TFX تدفق الهواء لتأليف مهام سير العمل كرسوم بيانية حلقية موجّهة (DAGs) للمهام. ينفذ مجدول تدفق الهواء المهام على مجموعة من العمال مع اتباع التبعيات المحددة. تجعل أدوات سطر الأوامر المساعدة إجراء العمليات الجراحية المعقدة على DAGs أمرًا سريعًا. تسهل واجهة المستخدم الثرية تصور خطوط الأنابيب قيد الإنتاج ومراقبة التقدم واستكشاف المشكلات وإصلاحها عند الحاجة. عندما يتم تعريف مهام سير العمل على أنها تعليمات برمجية ، فإنها تصبح أكثر قابلية للصيانة ، وقابلة للإصدار ، وقابلة للاختبار ، وتعاونية.

  • Kubeflow مكرس لجعل نشر التعلم آلة (ML) مهام سير العمل على Kubernetes بسيطة والمحمولة وقابلة للتطوير. لا يتمثل هدف Kubeflow في إعادة إنشاء خدمات أخرى ، ولكن توفير طريقة مباشرة لنشر أفضل أنظمة مفتوحة المصدر لـ ML في البنى التحتية المتنوعة. Kubeflow خطوط الأنابيب تمكين تكوين وتنفيذ سير العمل استنساخه على Kubeflow، متكاملة مع التجريب ودفتر الخبرات القائمة. تشمل خدمات خطوط أنابيب Kubeflow على Kubernetes متجر البيانات الوصفية المستضاف ومحرك التنسيق القائم على الحاوية وخادم الكمبيوتر المحمول وواجهة المستخدم لمساعدة المستخدمين على تطوير خطوط أنابيب ML المعقدة وتشغيلها وإدارتها على نطاق واسع. يسمح Kubeflow Pipelines SDK بإنشاء ومشاركة المكونات وتكوين خطوط الأنابيب برمجيًا.

قابلية التشغيل والتشغيل البيني

تم تصميم TFX لتكون محمولة إلى بيئات متعددة وأطر تزامن، بما في ذلك أباتشي تدفق الهواء ، أباتشي شعاع و Kubeflow . بل هو أيضا محمول على منصات مختلفة الحوسبة، بما في ذلك على فرضية، ومنصات السحابة مثل سحابة منصة جوجل (GCP) . على وجه الخصوص، interoperates TFX مع خدمات GCP تمكن سيرفيرال، مثل سحابة منصة AI لل تدريب والتنبؤ ، و الغيمة تدفق البيانات للبيانات وزعت تجهيز لعدة جوانب أخرى من مراحل دورة حياة ML.

النموذج مقابل SavedModel

نموذج

النموذج هو ناتج عملية التدريب. إنه السجل المتسلسل للأوزان التي تم تعلمها أثناء عملية التدريب. يمكن استخدام هذه الأوزان لاحقًا لحساب تنبؤات أمثلة الإدخال الجديدة. بالنسبة إلى TFX و TensorFlow ، يشير "النموذج" إلى نقاط التفتيش التي تحتوي على الأوزان التي تم تعلمها حتى تلك النقطة.

لاحظ أن "النموذج" قد يشير أيضًا إلى تعريف الرسم البياني لحساب TensorFlow (أي ملف Python) الذي يعبر عن كيفية حساب التنبؤ. يمكن استخدام الحاستين بالتبادل بناءً على السياق.

تم الحفظ

  • ما هو SavedModel : عالمي ومحايدة اللغة، المحكم، التسلسل القابلة للاسترداد للنموذج TensorFlow.
  • لماذا هو مهم: إنه تمكن الأنظمة ذات مستوى أعلى لإنتاج، وتحويل، وتستهلك نماذج TensorFlow استخدام التجريد واحد.

SavedModel هو تنسيق التسلسل الموصى به لخدمة نموذج TensorFlow في الإنتاج ، أو لتصدير نموذج مدرب لتطبيق أصلي للهاتف المحمول أو JavaScript. على سبيل المثال ، لتحويل نموذج إلى خدمة REST لعمل تنبؤات ، يمكنك إجراء تسلسل للنموذج باعتباره SavedModel وتقديمه باستخدام خدمة TensorFlow. انظر خدمة لTensorFlow نموذج لمزيد من المعلومات.

مخطط

بعض مكونات TFX تستخدم وصفا لإدخال البيانات الخاصة بك يسمى المخطط. المخطط هو مثيل schema.proto . المخططات هي نوع من عازلة البروتوكول ، والمعروف بشكل عام باسم "protobuf". يمكن أن يحدد المخطط أنواع البيانات لقيم المعالم ، وما إذا كان يجب أن تكون الميزة موجودة في جميع الأمثلة ، ونطاقات القيم المسموح بها ، وخصائص أخرى. تتمثل إحدى مزايا استخدام التحقق من صحة بيانات TensorFlow (TFDV) في أنه سينشئ تلقائيًا مخططًا عن طريق استنتاج الأنواع والفئات والنطاقات من بيانات التدريب.

هذا مقتطف من مخطط protobuf:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

تستخدم المكونات التالية المخطط:

  • التحقق من صحة بيانات TensorFlow
  • تحويل TensorFlow

في خط أنابيب TFX النموذجي ، ينشئ TensorFlow Data Validation مخططًا تستهلكه المكونات الأخرى.

التطوير باستخدام TFX

توفر TFX نظامًا أساسيًا قويًا لكل مرحلة من مراحل مشروع التعلم الآلي ، بدءًا من البحث والتجريب والتطوير على جهازك المحلي وحتى النشر. من أجل تجنب الازدواجية رمز والقضاء على إمكانية تدريب / خدمة انحراف فإنه ينصح بشدة لتنفيذ خط أنابيب TFX الخاص على حد سواء تدريبية نموذجية ونشر نماذج تدريب، واستخدام تحويل المكونات التي النفوذ و TensorFlow تحويل مكتبة للتدريب والاستدلال. من خلال القيام بذلك ، ستستخدم نفس رمز المعالجة والتحليل بشكل متسق ، وتجنب الاختلافات بين البيانات المستخدمة للتدريب والبيانات التي يتم تغذيتها لنماذجك المدربة في الإنتاج ، بالإضافة إلى الاستفادة من كتابة هذا الرمز مرة واحدة.

استكشاف البيانات والتصور والتنظيف

استكشاف البيانات والتصور والتنظيف

أنابيب TFX وعادة ما تبدأ مع ExampleGen العنصر، الذي يقبل البيانات ونماذج المدخلات أنها tf.Examples. غالبًا ما يتم ذلك بعد تقسيم البيانات إلى مجموعات بيانات للتدريب والتقييم بحيث تكون هناك نسختان فعليًا من مكونات ExampleGen ، واحدة لكل منهما للتدريب والتقييم. ويتبع ذلك عادة من قبل StatisticsGen عنصر و SchemaGen العنصر، الذي سيبحث بياناتك والاستدلال على مخطط البيانات والإحصاءات. سوف يستهلك المخطط وإحصاءات عن طريق ExampleValidator عنصر، والتي سوف تبحث عن الشذوذ والقيم في عداد المفقودين، وأنواع البيانات غير صحيحة في البيانات الخاصة بك. كل من هذه المكونات الاستفادة من قدرات TensorFlow بيانات التحقق من صحة مكتبة.

TensorFlow التحقق من صحة البيانات (TFDV) هو أداة قيمة عند القيام الأولي الاستكشاف، والتصور، وتنظيف من مجموعة البيانات الخاصة بك. يفحص TFDV بياناتك ويستنتج أنواع البيانات والفئات والنطاقات ، ثم يساعد تلقائيًا في تحديد القيم الشاذة والقيم المفقودة. يوفر أيضًا أدوات تصور يمكن أن تساعدك في فحص وفهم مجموعة البيانات الخاصة بك. بعد اكتمال خط الأنابيب الخاص بك يمكنك قراءة بيانات التعريف من MLMD واستخدام أدوات التصوير من TFDV في دفتر Jupyter لتحليل البيانات الخاصة بك.

بعد تدريب النموذج الأولي ونشره ، يمكن استخدام TFDV لمراقبة البيانات الجديدة من طلبات الاستدلال إلى النماذج المنشورة ، والبحث عن الانحرافات و / أو الانجراف. هذا مفيد بشكل خاص لبيانات السلاسل الزمنية التي تتغير بمرور الوقت نتيجة للاتجاه أو الموسمية ، ويمكن أن يساعد في الإبلاغ عند وجود مشاكل في البيانات أو عندما تحتاج النماذج إلى إعادة تدريبها على بيانات جديدة.

عرض مرئي للمعلومات

بعد الانتهاء من التشغيل الأول لبياناتك من خلال قسم خط الأنابيب الذي يستخدم TFDV (عادةً StatisticsGen و SchemaGen و ExampleValidator) ، يمكنك تصور النتائج في دفتر ملاحظات بنمط Jupyter. لإجراء عمليات تشغيل إضافية ، يمكنك مقارنة هذه النتائج أثناء إجراء التعديلات ، حتى تصبح بياناتك مثالية للنموذج والتطبيق الخاصين بك.

سوف أولا الاستعلام ML الفوقية (MLMD) لتحديد نتائج هذه الإعدامات من هذه المكونات، ومن ثم استخدام API دعم التصور في TFDV لخلق تصورات في الكمبيوتر المحمول. وهذا يشمل tfdv.load_statistics () و tfdv.visualize_statistics () باستخدام هذا التصور تتمكن من فهم أفضل للخصائص مجموعة البيانات الخاصة بك، وإذا تعديل ضروري كما هو مطلوب.

تطوير وتدريب النماذج

هندسة الخصائص

وسوف تشمل خط أنابيب TFX نموذجي تحويل عنصر، والتي سوف تؤدي الهندسة ميزة من خلال الاستفادة من قدرات TensorFlow تحويل (TFT) المكتبة. تحويل يستهلك عنصر المخطط إنشاؤها بواسطة عنصر SchemaGen، وينطبق التحولات البيانات لخلق، والجمع، وتحويل الميزات التي سيتم استخدامها لتدريب النموذج الخاص بك. يجب أيضًا إجراء تنظيف القيم المفقودة وتحويل الأنواع في مكون التحويل إذا كان هناك احتمال وجود هذه القيم أيضًا في البيانات المرسلة لطلبات الاستدلال. هناك بعض الاعتبارات الهامة عند تصميم كود TensorFlow للتدريب في TFX.

النمذجة والتدريب

نتيجة لعنصر تحويل هي SavedModel التي سيتم استيرادها واستخدامها في التعليمات البرمجية النمذجة الخاصة بك في TensorFlow، خلال المدرب المكون. يتضمن SavedModel هذا جميع تحويلات هندسة البيانات التي تم إنشاؤها في مكون التحويل ، بحيث يتم إجراء التحويلات المتطابقة باستخدام نفس الرمز بالضبط أثناء التدريب والاستدلال. باستخدام رمز النمذجة ، بما في ذلك SavedModel من مكون التحويل ، يمكنك استهلاك بيانات التدريب والتقييم وتدريب النموذج الخاص بك.

عند العمل مع النماذج المستندة إلى المقدر ، يجب أن يحفظ القسم الأخير من كود النمذجة النموذج الخاص بك كنموذج SavedModel و EvalSavedModel. يضمن الحفظ باعتباره EvalSavedModel أن المقاييس المستخدمة في وقت التدريب متاحة أيضًا أثناء التقييم (لاحظ أن هذا ليس مطلوبًا للنماذج القائمة على keras). إنقاذ ما EvalSavedModel يتطلب أن تقوم باستيراد TensorFlow تحليل نموذج (TFMA) مكتبة في عنصر مدرب الخاصة بك.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

اختياري موالف يمكن إضافة عنصر قبل المدرب لضبط hyperparameters (على سبيل المثال، عدد من الطبقات) للنموذج. باستخدام النموذج المحدد ومساحة البحث الخاصة بالمعلمات الفائقة ، ستجد خوارزمية الضبط أفضل المعلمات التشعبية بناءً على الهدف.

تحليل وفهم أداء النموذج

تحليل النموذج

بعد تطوير النموذج الأولي والتدريب ، من المهم تحليل أداء نموذجك وفهمه حقًا. وسوف تشمل خط أنابيب TFX نموذجي و مقيم عنصر، والتي تعزز قدرات TensorFlow تحليل نموذج (TFMA) مكتبة، والذي يوفر مجموعة أدوات السلطة لهذه المرحلة من التطور. عنصر ومقيم يستهلك النموذج الذي قمت بتصدير أعلاه، ويسمح لك لتحديد قائمة tfma.SlicingSpec التي يمكنك استخدامها عندما تصور وتحليل أداء النموذج الخاص بك. كل SlicingSpec يعرف شريحة بيانات التدريب الخاص بك الذي تريد دراسة، مثل فئات معينة لميزات الفئوية، أو نطاقات معينة لميزات العددية.

على سبيل المثال ، قد يكون هذا مهمًا لمحاولة فهم أداء نموذجك لشرائح مختلفة من عملائك ، والتي يمكن تقسيمها حسب عمليات الشراء السنوية أو البيانات الجغرافية أو الفئة العمرية أو الجنس. يمكن أن يكون هذا مهمًا بشكل خاص لمجموعات البيانات ذات الذيل الطويل ، حيث قد يخفي أداء المجموعة المهيمنة أداءً غير مقبول لمجموعات مهمة ولكنها أصغر. على سبيل المثال ، قد يؤدي نموذجك أداءً جيدًا بالنسبة للموظفين العاديين ولكنه يفشل فشلاً ذريعًا بالنسبة للموظفين التنفيذيين ، وقد يكون من المهم بالنسبة لك معرفة ذلك.

تحليل النماذج والتصور

بعد الانتهاء من الجولة الأولى من البيانات الخاصة بك من خلال تدريب النموذج الخاص بك وتشغيل مقيم العنصر (والتي تعزز TFMA ) على نتائج التدريب، يمكنك تصور النتائج في دفتر أسلوب Jupyter. لإجراء عمليات تشغيل إضافية ، يمكنك مقارنة هذه النتائج أثناء إجراء التعديلات ، حتى تصبح النتائج مثالية للنموذج والتطبيق الخاصين بك.

سوف أولا الاستعلام ML الفوقية (MLMD) لتحديد نتائج هذه الإعدامات من هذه المكونات، ومن ثم استخدام API دعم التصور في TFMA لخلق تصورات في الكمبيوتر المحمول. وهذا يشمل tfma.load_eval_results و tfma.view.render_slicing_metrics باستخدام هذا التصور تتمكن من فهم أفضل للخصائص النموذج الخاص بك، وإذا تعديل ضروري كما هو مطلوب.

التحقق من أداء النموذج

كجزء من تحليل أداء النموذج ، قد ترغب في التحقق من الأداء مقابل خط الأساس (مثل نموذج العرض الحالي). يتم إجراء التحقق من صحة النموذج عن طريق تمرير كل من مرشح والنموذج الأساسي لل مقيم المكون. المقيِّم يحسب المقاييس (مثل AUC ، الخسارة) لكل من المرشح وخط الأساس جنبًا إلى جنب مع مجموعة مقابلة من مقاييس الفرق. يمكن بعد ذلك تطبيق العتبات واستخدامها لبوابة دفع النماذج الخاصة بك إلى الإنتاج.

التحقق من إمكانية تقديم نموذج

التحقق من صحة الأشعة تحت الحمراء

قبل نشر النموذج المدرب ، قد ترغب في التحقق مما إذا كان النموذج قابلاً للخدمة حقًا في البنية التحتية للخدمة. هذا مهم بشكل خاص في بيئات الإنتاج لضمان أن النموذج المنشور حديثًا لا يمنع النظام من خدمة التنبؤات. و InfraValidator سوف المكون جعل نشر الكناري من النموذج الخاص بك في بيئة سندبوإكسد، واختياريا إرسال طلبات الحقيقية للتأكد من أن النموذج الخاص بك يعمل بشكل صحيح.

أهداف النشر

بمجرد قيامك بتطوير وتدريب نموذج يرضيك ، فقد حان الوقت الآن لنشره على هدف (أهداف) نشر واحد أو أكثر حيث سيتلقى طلبات الاستدلال. تدعم TFX النشر إلى ثلاث فئات من أهداف النشر. يمكن نشر النماذج المدربة التي تم تصديرها على أنها SavedModels إلى أي من أهداف النشر هذه أو جميعها.

تدفق المكون

الاستدلال: خدمة TensorFlow

TensorFlow خدمة (TFS) هو مرن، وارتفاع الأداء ونظام خدمة لنماذج تعلم آلة، والمصممة لبيئات الإنتاج. يستهلك SavedModel ويقبل طلبات الاستدلال عبر واجهات REST أو gRPC. يتم تشغيله كمجموعة من العمليات على خادم شبكة واحد أو أكثر ، باستخدام واحدة من العديد من البنى المتقدمة للتعامل مع المزامنة والحساب الموزع. اطلع على وثائق TFS لمزيد من المعلومات حول تطوير ونشر حلول TFS.

في خط أنابيب نموذجي، وهو SavedModel التي تم تدريبهم في المدرب المكون من شأنه أولا أن التحقق من صحة الأشعة تحت في InfraValidator المكون. InfraValidator يطلق خادم نموذج TFS كناري لخدمة SavedModel بالفعل. إذا مرت التحقق من صحة، و مروج المخدرات وعنصر تنشر أخيرا SavedModel إلى البنية التحتية TFS الخاصة بك. يتضمن ذلك التعامل مع إصدارات متعددة وتحديثات الطراز.

الاستدلال في تطبيقات Native Mobile و IoT: TensorFlow Lite

TensorFlow لايت هو مجموعة من الأدوات التي تكرس نفسها لتساعد المطورين على استخدام تدريب نماذج TensorFlow في التطبيقات النقالة وتقنيات عمليات الأم. تستهلك نفس نماذج SavedModels مثل خدمة TensorFlow ، وتطبق تحسينات مثل التقليم والتقليم لتحسين حجم وأداء النماذج الناتجة لتحديات التشغيل على الأجهزة المحمولة وأجهزة إنترنت الأشياء. راجع وثائق TensorFlow Lite لمزيد من المعلومات حول استخدام TensorFlow Lite.

الاستدلال في JavaScript: TensorFlow JS

TensorFlow JS هي مكتبة جافا سكريبت لتدريب ونشر نماذج ML في المتصفح وعلى Node.js. تستهلك نفس نماذج SavedModels مثل خدمة TensorFlow و TensorFlow Lite ، وتحولها إلى تنسيق الويب TensorFlow.js. راجع وثائق TensorFlow JS للحصول على مزيد من التفاصيل حول استخدام TensorFlow JS.

إنشاء خط أنابيب TFX مع تدفق الهواء

تحقق تدفق الهواء ورشة عمل لمزيد من التفاصيل

إنشاء خط أنابيب TFX مع Kubeflow

يثبت

يتطلب Kubeflow مجموعة Kubernetes لتشغيل خطوط الأنابيب على نطاق واسع. اطلع على نشر التوجيهي Kubeflow أن الدليل من خلال الخيارات ل نشر الكتلة Kubeflow.

تكوين وتشغيل خط أنابيب TFX

يرجى اتباع TFX على الغيمة AI منصة خط أنابيب البرنامج التعليمي لتشغيل المثال خط أنابيب TFX على Kubeflow. تم وضع مكونات TFX في حاويات لتكوين خط أنابيب Kubeflow وتوضح العينة القدرة على تكوين خط الأنابيب لقراءة مجموعة بيانات عامة كبيرة وتنفيذ خطوات التدريب ومعالجة البيانات على نطاق واسع في السحابة.

واجهة سطر الأوامر لإجراءات خط الأنابيب

يوفر TFX واجهة سطر أوامر موحدة تساعد على تنفيذ مجموعة كاملة من إجراءات خطوط الأنابيب مثل إنشاء خطوط الأنابيب وتحديثها وتشغيلها وسردها وحذفها على مختلف فرق الأوركسترا بما في ذلك Apache Airflow و Apache Beam و Kubeflow. لمزيد من التفاصيل، يرجى اتباع هذه التعليمات .