ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

دليل مستخدم TFX

المقدمة

TFX عبارة عن نظام أساسي للتعلم الآلي على نطاق الإنتاج من Google يعتمد على TensorFlow. يوفر إطار عمل تكوين ومكتبات مشتركة لدمج المكونات المشتركة اللازمة لتحديد نظام التعلم الآلي وتشغيله ومراقبته.

التركيب

بايثون PyPI

 pip install tfx
 

حول TFX

TFX عبارة عن منصة لبناء وإدارة سير عمل ML في بيئة إنتاج. توفر TFX ما يلي:

  • مجموعة أدوات لبناء خطوط أنابيب ML. تتيح لك خطوط أنابيب TFX تنظيم سير عمل ML الخاص بك على العديد من الأنظمة الأساسية ، مثل: Apache Airflow و Apache Beam و Kubeflow Pipelines.

    تعرف على المزيد حول خطوط أنابيب TFX .

  • مجموعة من المكونات القياسية التي يمكنك استخدامها كجزء من خط الأنابيب ، أو كجزء من البرنامج النصي للتدريب ML الخاص بك. توفر المكونات القياسية TFX وظائف مثبتة لمساعدتك على البدء في بناء عملية ML بسهولة.

    تعرف على المزيد حول مكونات TFX القياسية .

  • المكتبات التي توفر الوظائف الأساسية للعديد من المكونات القياسية. يمكنك استخدام مكتبات TFX لإضافة هذه الوظيفة إلى المكونات المخصصة الخاصة بك ، أو استخدامها بشكل منفصل.

    تعرف على المزيد حول مكتبات TFX .

TFX عبارة عن مجموعة أدوات تعلم الآلة على نطاق إنتاج Google وتعتمد على TensorFlow. يوفر إطار عمل تكوين ومكتبات مشتركة لدمج المكونات المشتركة اللازمة لتحديد نظام التعلم الآلي وتشغيله ومراقبته.

مكونات TFX القياسية

خط أنابيب TFX عبارة عن سلسلة من المكونات التي تنفذ خط أنابيب ML مصمم خصيصًا لمهام التعلم الآلي القابلة للتطوير وذات الأداء العالي. يتضمن ذلك النمذجة والتدريب وخدمة الاستدلال وإدارة عمليات النشر للأهداف عبر الإنترنت والجوّال الأصلي وأهداف JavaScript.

عادةً ما يتضمن خط أنابيب TFX المكونات التالية:

  • ExampleGen هو مكون الإدخال الأولي لخط الأنابيب الذي يتم امتصاصه وتقسيم مجموعة بيانات الإدخال بشكل اختياري.

  • يحسب StatisticsGen إحصائيات مجموعة البيانات.

  • يقوم SchemaGen بفحص الإحصائيات وإنشاء مخطط بيانات.

  • يبحث برنامج ExampleValidator عن القيم الشاذة والقيم المفقودة في مجموعة البيانات.

  • ينفذ Transform هندسة الميزات في مجموعة البيانات.

  • يقوم المدرب بتدريب النموذج.

  • يضبط الموالف المعايير الفائقة للنموذج.

  • يقوم المُقيِّم بإجراء تحليل عميق لنتائج التدريب ويساعدك في التحقق من صحة النماذج التي تم تصديرها ، مما يضمن أنها "جيدة بما يكفي" ليتم دفعها إلى الإنتاج.

  • يتحقق InfraValidator من أن النموذج يمكن صيانته بالفعل من البنية التحتية ، ويمنع دفع النموذج السيئ.

  • ينشر دافع النموذج على البنية التحتية للخدمة.

  • يقوم BulkInferrer بمعالجة الدُفعات على نموذج بطلبات استدلال غير موسومة .

يوضح هذا الرسم البياني تدفق البيانات بين هذه المكونات:

تدفق المكون

مكتبات TFX

يتضمن TFX كلاً من المكتبات ومكونات خطوط الأنابيب. يوضح هذا الرسم البياني العلاقات بين مكتبات TFX ومكونات خطوط الأنابيب:

المكتبات والمكونات

يوفر TFX العديد من حزم Python وهي المكتبات المستخدمة لإنشاء مكونات خط الأنابيب. ستستخدم هذه المكتبات لإنشاء مكونات خطوط الأنابيب الخاصة بك بحيث يمكن للتعليمة البرمجية الخاصة بك التركيز على الجوانب الفريدة لخط الأنابيب الخاص بك.

تشمل مكتبات TFX:

  • TensorFlow Data Validation (TFDV) هي مكتبة لتحليل بيانات التعلم الآلي والتحقق منها. إنه مصمم ليكون قابلاً للتطوير بدرجة عالية ولعمل بشكل جيد مع TensorFlow و TFX. يشمل TFDV:

    • حساب قابل للقياس للإحصاءات الموجزة للتدريب وبيانات الاختبار.
    • التكامل مع عارض لتوزيع البيانات والإحصاءات ، بالإضافة إلى مقارنة الأوجه لأزواج مجموعات البيانات (الواجهات).

    • إنشاء مخطط بيانات آلي لوصف التوقعات حول البيانات مثل القيم والنطاقات والمفردات المطلوبة.

    • عارض مخطط لمساعدتك على فحص المخطط.

    • اكتشاف الشذوذ لتحديد الحالات الشاذة ، مثل الميزات المفقودة ، أو القيم خارج النطاق ، أو أنواع المعالم الخاطئة ، على سبيل المثال لا الحصر.

    • عارض الشذوذ بحيث يمكنك معرفة الميزات التي لها شذوذ ومعرفة المزيد من أجل تصحيحها.

  • TensorFlow Transform (TFT) هي مكتبة لمعالجة البيانات مسبقًا باستخدام TensorFlow. يُعد TensorFlow Transform مفيدًا للبيانات التي تتطلب مرورًا كاملاً ، مثل:

    • تطبيع قيمة الإدخال بالمتوسط ​​والانحراف المعياري.
    • حوّل السلاسل إلى أعداد صحيحة من خلال إنشاء مفردات فوق جميع قيم الإدخال.
    • قم بتحويل العوامات إلى أعداد صحيحة عن طريق تعيينها إلى مجموعات بناءً على توزيع البيانات المرصود.
  • TensorFlow يستخدم لتدريب النماذج مع TFX. يستوعب بيانات التدريب ورمز النمذجة ويخلق نتيجة SavedModel. كما أنه يدمج خط أنابيب هندسيًا للميزات تم إنشاؤه بواسطة TensorFlow Transform للمعالجة المسبقة لبيانات الإدخال.

    يستخدم KerasTuner لضبط المعلمات الزائدة للنموذج.

  • TensorFlow Model Analysis (TFMA) هي مكتبة لتقييم نماذج TensorFlow. يتم استخدامه مع TensorFlow لإنشاء نموذج EvalSavedModel ، والذي يصبح أساس تحليله. يسمح للمستخدمين بتقييم نماذجهم على كميات كبيرة من البيانات بطريقة موزعة ، باستخدام نفس المقاييس المحددة في مدربهم. يمكن حساب هذه المقاييس على شرائح مختلفة من البيانات وتصور في دفاتر Jupyter.

  • توفر TensorFlow Metadata (TFMD) تمثيلات قياسية لبيانات التعريف التي تكون مفيدة عند تدريب نماذج التعلم الآلي باستخدام TensorFlow. يمكن إنتاج البيانات الوصفية يدويًا أو تلقائيًا أثناء تحليل بيانات الإدخال ، ويمكن استهلاكها للتحقق من صحة البيانات واستكشافها وتحويلها. تتضمن تنسيقات تسلسل البيانات الوصفية ما يلي:

    • مخطط يصف البيانات المجدولة (مثل أمثلة tf).
    • مجموعة من الإحصائيات الموجزة لمجموعات البيانات هذه.
  • ML Metadata (MLMD) هي مكتبة لتسجيل واسترجاع البيانات الوصفية المرتبطة بمطوري ML وتدفقات عمل علماء البيانات. غالبًا ما تستخدم البيانات الوصفية تمثيلات TFMD. يدير MLMD الثبات باستخدام SQL-Lite و MySQL ومخازن بيانات أخرى مماثلة.

دعم التقنيات

مطلوب

  • Apache Beam هو نموذج مفتوح المصدر وموحد لتحديد كل من خطوط الأنابيب المتدفقة والمعالجة المتوازية للبيانات. يستخدم TFX Apache Beam لتنفيذ خطوط أنابيب موازية للبيانات. يتم تنفيذ خط الأنابيب بعد ذلك بواسطة إحدى نهايات المعالجة الموزعة المدعومة من Beam ، والتي تشمل Apache Flink و Apache Spark و Google Cloud Dataflow وغيرها.

اختياري

يجعل المنظمون مثل Apache Airflow و Kubeflow تكوين خط أنابيب ML وتشغيله ومراقبته وصيانته أسهل.

  • أباتشي إيرفلو هو منصة لتأليف وبرمجة ومراقبة سير العمل. يستخدم TFX Airflow لتأليف مهام سير العمل كرسوم بيانية غير دورية موجهة للمهام. ينفذ مجدول تدفق الهواء المهام على مجموعة من العمال مع اتباع التبعيات المحددة. تجعل أدوات سطر الأوامر المساعدة إجراء العمليات الجراحية المعقدة على DAGs أمرًا سريعًا. تجعل واجهة المستخدم الغنية من السهل تصور خطوط الأنابيب التي تعمل في الإنتاج ومراقبة التقدم واستكشاف المشكلات وإصلاحها عند الحاجة. عندما يتم تعريف مهام سير العمل على أنها رمز ، فإنها تصبح أكثر قابلية للصيانة وإصدارًا وقابلية للاختبار وتعاونية.

  • Kubeflow مكرس لجعل عمليات نشر تدفقات عمل التعلم الآلي (ML) على Kubernetes بسيطة ومحمولة وقابلة للتطوير. لا يتمثل هدف Kubeflow في إعادة إنشاء خدمات أخرى ، ولكن توفير طريقة مباشرة لنشر أفضل أنظمة مفتوحة المصدر من أجل ML إلى البنى التحتية المتنوعة. تتيح خطوط أنابيب Kubeflow تكوين وتنفيذ تدفقات العمل القابلة للتكرار على Kubeflow ، مدمجة مع التجارب والخبرات القائمة على الكمبيوتر المحمول. تشمل خدمات Kubeflow Pipelines على Kubernetes متجر البيانات الوصفية المستضاف ومحرك التنسيق القائم على الحاويات وخادم الكمبيوتر المحمول وواجهة المستخدم لمساعدة المستخدمين على تطوير وتشغيل وإدارة خطوط أنابيب ML المعقدة على نطاق واسع. تسمح حزمة Kubeflow Pipelines SDK بإنشاء ومشاركة مكونات وتكوين خطوط الأنابيب بشكل برمجي.

قابلية التشغيل والتشغيل البيني

تم تصميم TFX ليكون قابلاً للنقل إلى بيئات متعددة وأطر عمل تنسيق ، بما في ذلك Apache Airflow و Apache Beam و Kubeflow . كما أنه قابل للنقل إلى أنظمة حوسبة مختلفة ، بما في ذلك الأنظمة الأساسية داخل الشركة والأنظمة السحابية مثل Google Cloud Platform (GCP) . على وجه الخصوص ، تتفاعل TFX مع خدمات GCP المُدارة سيرفيرال ، مثل Cloud AI Platform للتدريب والتنبؤ ، و Cloud Dataflow لمعالجة البيانات الموزعة للعديد من الجوانب الأخرى لدورة حياة ML.

النموذج مقابل SavedModel

نموذج

النموذج هو ناتج عملية التدريب. إنه السجل المتسلسل للأوزان التي تم تعلمها أثناء عملية التدريب. يمكن استخدام هذه الأوزان لاحقًا لحساب تنبؤات أمثلة الإدخال الجديدة. بالنسبة لـ TFX و TensorFlow ، يشير "النموذج" إلى نقاط التفتيش التي تحتوي على الأوزان المكتسبة حتى تلك النقطة.

لاحظ أن "النموذج" قد يشير أيضًا إلى تعريف الرسم البياني لحساب TensorFlow (أي ملف Python) الذي يعبر عن كيفية حساب التنبؤ. يمكن استخدام الحاستين بالتبادل بناءً على السياق.

تم الحفظ

  • ما هو SavedModel : تسلسل عالمي محايد اللغة ومحكم وقابل للاسترداد لنموذج TensorFlow.
  • لماذا هو مهم : إنه يمكّن الأنظمة ذات المستوى الأعلى من إنتاج نماذج TensorFlow وتحويلها واستهلاكها باستخدام تجريد واحد.

SavedModel هو تنسيق التسلسل الموصى به لخدمة نموذج TensorFlow في الإنتاج ، أو تصدير نموذج مدرب لتطبيقات الهاتف المحمول أو جافا سكريبت الأصلية. على سبيل المثال ، لتحويل نموذج إلى خدمة REST لعمل التنبؤات ، يمكنك إجراء تسلسل للنموذج على أنه SavedModel وعرضه باستخدام TensorFlow Serving. راجع تقديم نموذج TensorFlow لمزيد من المعلومات.

مخطط

تستخدم بعض مكونات TFX وصفاً لبيانات الإدخال الخاصة بك تسمى مخطط . مخطط قاعدة البيانات هو مثيل لـ schema.proto . المخططات هي نوع من المخزن المؤقت للبروتوكول ، المعروف بشكل عام باسم "protobuf". يمكن أن يحدد المخطط أنواع بيانات لقيم المعالم ، وما إذا كان يجب أن تكون الميزة موجودة في جميع الأمثلة ونطاقات القيم المسموح بها وخصائص أخرى. تتمثل إحدى فوائد استخدام TensorFlow Data Validation (TFDV) في أنه سينشئ مخططًا تلقائيًا من خلال استنتاج الأنواع والفئات والنطاقات من بيانات التدريب.

إليك مقتطف من مخطط مخطط أولي:

 ...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...
 

تستخدم المكونات التالية المخطط:

  • التحقق من صحة بيانات TensorFlow
  • تحويل TensorFlow

في خط أنابيب TFX النموذجي ، ينشئ TensorFlow التحقق من البيانات مخططًا يتم استهلاكه بواسطة المكونات الأخرى.

تتطور مع TFX

يوفر TFX نظامًا أساسيًا قويًا لكل مرحلة من مراحل مشروع التعلم الآلي ، بدءًا من البحث والتجريب والتطوير على جهازك المحلي ، وحتى النشر. من أجل تجنب تكرار الكود والقضاء على احتمال التدريب / الانحراف في الخدمة ، يوصى بشدة بتنفيذ خط أنابيب TFX الخاص بك لتدريب النموذج ونشر النماذج المدربة ، واستخدام مكونات التحويل التي تستفيد من مكتبة TensorFlow Transform للتدريب والاستدلال. من خلال القيام بذلك ، ستستخدم نفس رمز المعالجة والتحليل باستمرار ، وتجنب الاختلافات بين البيانات المستخدمة للتدريب والبيانات التي يتم تغذيتها لنماذجك المدربة في الإنتاج ، بالإضافة إلى الاستفادة من كتابة هذا الرمز مرة واحدة.

استكشاف البيانات والتصور والتنظيف

استكشاف البيانات والتصور والتنظيف

تبدأ خطوط أنابيب TFX عادةً بمكون ExampleGen ، الذي يقبل بيانات الإدخال وينسقها ك tf. غالبًا ما يتم ذلك بعد تقسيم البيانات إلى مجموعات بيانات التدريب والتقييم بحيث يوجد في الواقع نسختان من مكونات ExampleGen ، واحدة لكل منها للتدريب والتقييم. يتبع هذا عادةً مكون StatisticsGen ومكون SchemaGen ، والذي سيفحص بياناتك ويستنتج مخطط بيانات وإحصاءات. سيتم استهلاك المخطط والإحصاءات بواسطة مكون ExampleValidator ، والذي سيبحث عن الحالات الشاذة والقيم المفقودة وأنواع البيانات غير الصحيحة في بياناتك. تستفيد جميع هذه المكونات من إمكانيات مكتبة TensorFlow للتحقق من البيانات .

يعد TensorFlow Data Validation (TFDV) أداة قيمة عند إجراء الاستكشاف الأولي والتصور وتنظيف مجموعة البيانات الخاصة بك. يفحص TFDV بياناتك ويدرج أنواع البيانات والفئات والنطاقات ، ثم يساعد تلقائيًا في تحديد الحالات الشاذة والقيم المفقودة. كما يوفر أدوات تصور يمكن أن تساعدك في فحص مجموعة البيانات وفهمها. بعد اكتمال خط الأنابيب الخاص بك ، يمكنك قراءة البيانات الوصفية من MLMD واستخدام أدوات التصور الخاصة بـ TFDV في دفتر Jupyter لتحليل بياناتك.

بعد تدريب النموذج الأولي ونشره ، يمكن استخدام TFDV لمراقبة البيانات الجديدة من طلبات الاستدلال إلى النماذج التي تم نشرها ، والبحث عن الحالات الشاذة و / أو الانحراف. هذا مفيد بشكل خاص لبيانات السلاسل الزمنية التي تتغير بمرور الوقت نتيجة للاتجاه أو الموسمية ، ويمكن أن تساعد في الإبلاغ عند وجود مشاكل في البيانات أو عندما تحتاج النماذج إلى إعادة التدريب على البيانات الجديدة.

عرض مرئي للمعلومات

بعد الانتهاء من أول تشغيل لبياناتك من خلال قسم خط الأنابيب الخاص بك الذي يستخدم TFDV (عادةً الإحصائياتGen و SchemaGen و ExampleValidator) ، يمكنك تصور النتائج في دفتر ملاحظات بنمط Jupyter. لإجراء عمليات تشغيل إضافية ، يمكنك مقارنة هذه النتائج أثناء إجراء التعديلات ، حتى تكون بياناتك مثالية لنموذجك وتطبيقك.

ستقوم أولاً باستعلام ML Metadata (MLMD) لتحديد نتائج عمليات التنفيذ لهذه المكونات ، ثم استخدام واجهة برمجة تطبيقات دعم التصور في TFDV لإنشاء تصورات في دفتر الملاحظات الخاص بك. يتضمن ذلك tfdv.load_statistics () و tfdv.visualize_statistics () باستخدام هذا التصور ، يمكنك فهم خصائص مجموعة البيانات بشكل أفضل ، وتعديلها إذا لزم الأمر.

تطوير وتدريب النماذج

هندسة الميزات

سيتضمن خط أنابيب TFX النموذجي مكون التحويل ، والذي سينفذ هندسة الميزات من خلال الاستفادة من إمكانات مكتبة TensorFlow Transform (TFT) . يستهلك مكون التحويل المخطط الذي تم إنشاؤه بواسطة مكون SchemaGen ، ويطبق عمليات تحويل البيانات لإنشاء الميزات التي سيتم استخدامها لتدريب النموذج الخاص بك ودمجها وتحويلها. يجب أيضًا إجراء تنظيف القيم المفقودة وتحويل الأنواع في مكون التحويل إذا كان هناك احتمال وجود هذه القيم أيضًا في البيانات المرسلة لطلبات الاستدلال. هناك بعض الاعتبارات المهمة عند تصميم كود TensorFlow للتدريب في TFX.

النمذجة والتدريب

نتيجة مكون التحويل هي SavedModel الذي سيتم استيراده واستخدامه في كود النمذجة الخاص بك في TensorFlow ، أثناء مكون المدرب . يتضمن SavedModel هذا جميع تحويلات هندسة البيانات التي تم إنشاؤها في مكون التحويل ، بحيث يتم إجراء التحويلات المتطابقة باستخدام نفس الرمز بالضبط أثناء التدريب والاستدلال. باستخدام رمز النمذجة ، بما في ذلك SavedModel من مكون التحويل ، يمكنك استهلاك بيانات التدريب والتقييم وتدريب النموذج الخاص بك.

أثناء القسم الأخير من كود النمذجة الخاص بك ، يجب عليك حفظ النموذج الخاص بك في كل من SavedModel و EvalSavedModel. يتطلب الحفظ باسم EvalSavedModel استيراد مكتبة TensorFlow Model Analysis (TFMA) وتطبيقها في مكون المدرب.

 import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)
 

يمكن إضافة مكون موالف اختياري قبل المدرب لضبط المعلمات المفرطة (على سبيل المثال ، عدد الطبقات) للنموذج. باستخدام النموذج المحدد ومساحة البحث للمعلمات الفائقة ، ستجد خوارزمية الضبط أفضل المعلمات الفائقة بناءً على الهدف.

تحليل وفهم أداء النموذج

تحليل النموذج

بعد تطوير النموذج الأولي والتدريب ، من المهم تحليل أداء نموذجك وفهمه حقًا. وسوف تشمل خط أنابيب TFX نموذجي و مقيم عنصر، والتي تعزز قدرات TensorFlow تحليل نموذج (TFMA) مكتبة، والذي يوفر مجموعة أدوات السلطة لهذه المرحلة من التطور. يستهلك مكوّن Evaluator نموذج EvalSavedModel الذي قمت بتصديره أعلاه ، ويسمح لك بتحديد قائمة بـ SliceSpecs التي يمكنك استخدامها عند تصور وتحليل أداء النموذج الخاص بك. يحدد كل SliceSpec شريحة من بيانات التدريب التي تريد فحصها ، مثل فئات معينة للميزات الفئوية ، أو نطاقات معينة للميزات الرقمية.

على سبيل المثال ، قد يكون هذا مهمًا لمحاولة فهم أداء نموذجك لشرائح مختلفة من عملائك ، والتي يمكن تقسيمها حسب عمليات الشراء السنوية أو البيانات الجغرافية أو الفئة العمرية أو الجنس. يمكن أن يكون هذا مهمًا بشكل خاص لمجموعات البيانات ذات الذيل الطويل ، حيث قد يخفي أداء المجموعة المهيمنة أداءً غير مقبول لمجموعات مهمة ولكنها أصغر. على سبيل المثال ، قد يكون نموذجك جيدًا بالنسبة للموظفين العاديين ولكنه يفشل بشكل مزعج بالنسبة للموظفين التنفيذيين ، وقد يكون من المهم بالنسبة لك معرفة ذلك.

تحليل النموذج والتصور

بعد الانتهاء من أول تشغيل لبياناتك من خلال تدريب نموذجك وتشغيل مكون التقييم (الذي يعزز TFMA ) على نتائج التدريب ، يمكنك تصور النتائج في دفتر ملاحظات بنمط Jupyter. لإجراء عمليات تشغيل إضافية ، يمكنك مقارنة هذه النتائج أثناء إجراء التعديلات ، حتى تكون نتائجك مثالية لطرازك وتطبيقك.

ستقوم أولاً بالاستعلام عن ML Metadata (MLMD) لتحديد نتائج عمليات التنفيذ هذه لهذه المكونات ، ثم استخدام واجهة برمجة تطبيقات دعم التصور في TFMA لإنشاء التمثيلات المرئية في دفتر ملاحظاتك. يتضمن هذا tfma.load_eval_results () و tfma.view.render_slicing_metrics () باستخدام هذا التمثيل البصري ، يمكنك فهم خصائص نموذجك بشكل أفضل ، وإذا لزم الأمر يمكنك التعديل حسب الاقتضاء.

التحقق من أنه يمكن تقديم نموذج

التحقق من صحة الأشعة تحت الحمراء

قبل نشر النموذج المدرب ، قد ترغب في التحقق مما إذا كان النموذج صالحًا للعرض في البنية التحتية للعرض. هذا مهم بشكل خاص في بيئات الإنتاج للتأكد من أن النموذج المنشور حديثًا لا يمنع النظام من خدمة التنبؤات. سيقوم مكون InfraValidator بإجراء نشر كناري لنموذجك في بيئة وضع الحماية ، وإرسال طلبات حقيقية اختياريًا للتحقق من أن نموذجك يعمل بشكل صحيح.

أهداف النشر

بمجرد أن تقوم بتطوير وتدريب نموذج تسعدك ، فقد حان الوقت لنشره على هدف أو أكثر من أهداف النشر حيث سيتلقى طلبات الاستدلال. يدعم TFX النشر إلى ثلاث فئات من أهداف النشر. يمكن نشر النماذج المدربة التي تم تصديرها على أنها SavedModels إلى أي من أهداف النشر هذه أو جميعها.

تدفق المكون

الاستدلال: خدمة TensorFlow

TensorFlow Serving (TFS) هو نظام عرض مرن وعالي الأداء لنماذج التعلم الآلي ، وهو مصمم لبيئات الإنتاج. تستهلك SavedModel وستقبل طلبات الاستدلال عبر واجهات REST أو gRPC. يتم تشغيله كمجموعة من العمليات على واحد أو أكثر من خوادم الشبكة ، باستخدام واحد من العديد من البنيات المتقدمة للتعامل مع المزامنة والحسابات الموزعة. راجع وثائق TFS للحصول على مزيد من المعلومات حول تطوير ونشر حلول TFS.

في خط الأنابيب النموذجي ، سيتم أولاً التحقق من صحة نموذج SavedModel الذي تم تدريبه في مكون المدرب أولاً في مكون InfraValidator . يقوم InfraValidator بإطلاق خادم طراز TFS الكناري لخدمة SavedModel فعليًا. في حالة نجاح عملية التحقق ، سينشر مكون Pusher أخيرًا SavedModel في البنية الأساسية لـ TFS. يتضمن هذا التعامل مع إصدارات متعددة وتحديثات النماذج.

الاستدلال في تطبيقات Native Mobile الأصلية وإنترنت الأشياء: TensorFlow Lite

TensorFlow Lite عبارة عن مجموعة من الأدوات المخصصة لمساعدة المطورين على استخدام نماذج TensorFlow المدربة في تطبيقات الهاتف المحمول وإنترنت الأشياء الأصلية. تستهلك نفس نماذج SavedModels مثل خدمة TensorFlow ، وتطبق تحسينات مثل التقليم والتقليم لتحسين حجم وأداء النماذج الناتجة لتحديات التشغيل على الأجهزة المحمولة وأجهزة إنترنت الأشياء. راجع وثائق TensorFlow Lite لمزيد من المعلومات حول استخدام TensorFlow Lite.

الاستدلال في جافا سكريبت: TensorFlow JS

TensorFlow JS هي مكتبة JavaScript لتدريب ونشر نماذج ML في المتصفح وعلى Node.js. يستهلك نفس SavedModels مثل TensorFlow Serving و TensorFlow Lite ، ويحولهم إلى تنسيق ويب TensorFlow.js. راجع وثائق TensorFlow JS لمزيد من التفاصيل حول استخدام TensorFlow JS.

إنشاء خط أنابيب TFX مع تدفق الهواء

تحقق من ورشة تدفق الهواء للحصول على التفاصيل

إنشاء خط أنابيب TFX مع Kubeflow

اقامة

تتطلب Kubeflow مجموعة Kubernetes لتشغيل خطوط الأنابيب على نطاق واسع. راجع دليل نشر Kubeflow الذي يرشدك من خلال خيارات نشر مجموعة Kubeflow.

تكوين وتشغيل خط أنابيب TFX

يرجى اتباع البرنامج التعليمي لخط أنابيب TFX على Cloud AI Platform لتشغيل خط أنابيب مثال TFX على Kubeflow. تم تخزين مكونات TFX في حاوية لإنشاء خط أنابيب Kubeflow وتوضح العينة القدرة على تكوين خط الأنابيب لقراءة مجموعة بيانات عامة كبيرة وتنفيذ خطوات التدريب ومعالجة البيانات على نطاق واسع في السحابة.

واجهة سطر الأوامر لإجراءات خط الأنابيب

يوفر TFX واجهة سطر أوامر (CLI) موحدة تساعد في تنفيذ مجموعة كاملة من إجراءات خطوط الأنابيب مثل إنشاء خطوط الأنابيب وتحديثها وتشغيلها وإدراجها وحذفها على العديد من أجهزة التنسيق بما في ذلك Apache Airflow و Apache Beam و Kubeflow. لمزيد من التفاصيل ، يرجى اتباع هذه التعليمات .