تحليل نموذج TensorFlow

تحليل نموذج TensorFlow (TFMA) عبارة عن مكتبة لتقييم نماذج TensorFlow. يسمح للمستخدمين بتقييم نماذجهم على كميات كبيرة من البيانات بطريقة موزعة ، باستخدام نفس المقاييس المحددة في المدرب. يمكن حساب هذه المقاييس على شرائح مختلفة من البيانات وتصور في دفاتر Jupyter.

متصفح TFMA Slicing Metrics

تثبيت

الطريقة الموصى بها لتثبيت TFMA هي استخدام حزمة PyPI :

pip install tensorflow-model-analysis

بناء TFMA من المصدر

للبناء من المصدر ، اتبع الخطوات التالية:

قم بتثبيت البروتوك حسب الرابط المذكور: protoc

قم بإنشاء بيئة افتراضية عن طريق تشغيل الأوامر

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

سيؤدي ذلك إلى إنشاء عجلة TFMA في دليل التوزيع. لتثبيت العجلة من دليل dist ، قم بتشغيل الأوامر

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

الحزم الليلية

تستضيف TFMA أيضًا حزمًا ليلية على https://pypi-nightly.tensorflow.org على Google Cloud. لتثبيت أحدث حزمة ليلية ، الرجاء استخدام الأمر التالي:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

سيؤدي هذا إلى تثبيت الحزم الليلية للاعتمادات الرئيسية لـ TFMA مثل TensorFlow Metadata (TFMD) ومكتبات TFX الأساسية المشتركة (TFX-BSL).

في الوقت الحالي ، تتطلب TFMA تثبيت TensorFlow ولكن لا تعتمد بشكل واضح على حزمة TensorFlow PyPI. راجع أدلة تثبيت TensorFlow للحصول على الإرشادات.

لتمكين تصور TFMA في Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

مختبر جوبيتر

حتى كتابة هذه السطور ، بسبب https://github.com/pypa/pip/issues/9187 ، قد لا ينتهي pip install أبدًا. في هذه الحالة ، يجب عليك إعادة النقطة إلى الإصدار 19 بدلاً من 20: pip install "pip<20" .

يتطلب استخدام ملحق JupyterLab تثبيت التبعيات على سطر الأوامر. يمكنك القيام بذلك داخل وحدة التحكم في JupyterLab UI أو في سطر الأوامر. يتضمن ذلك تثبيت أي تبعيات لحزمة pip بشكل منفصل وتبعيات ملحق JupyterLab labextension الإضافي ، ويجب أن تكون أرقام الإصدار متوافقة.

الأمثلة أدناه تستخدم 0.27.0. تحقق من الإصدارات المتاحة أدناه لاستخدام الأحدث.

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

مختبر جوبيتر 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

استكشاف الأخطاء وإصلاحها

تحقق من حزم النقطة:

pip list

التحقق من الامتدادات:

jupyter labextension list

التبعيات البارزة

TensorFlow مطلوب.

مطلوب Apache Beam ؛ إنها الطريقة التي يتم بها دعم الحساب الموزع الفعال. بشكل افتراضي ، يعمل Apache Beam في الوضع المحلي ولكن يمكن أيضًا تشغيله في الوضع الموزع باستخدام Google Cloud Dataflow ومشغلات Apache Beam الأخرى.

مطلوب أيضًا Apache Arrow . تستخدم TFMA Arrow لتمثيل البيانات داخليًا من أجل الاستفادة من الدوال المعقدة المتجهية.

ابدء

للحصول على إرشادات حول استخدام TFMA ، انظر دليل البدء .

إصدارات متوافقة

الجدول التالي عبارة عن إصدارات حزمة TFMA المتوافقة مع بعضها البعض. يتم تحديد ذلك من خلال إطار عمل الاختبار الخاص بنا ، ولكن قد تعمل أيضًا مجموعات أخرى غير مختبرة .

tensorflow-model-analysis أباتشي شعاع [gcp] بيارو تينسورفلو tensorflow-metadata tfx-bsl
سيد جيثب 2.40.0 6.0.0 كل ليلة (2.x) 1.13.1 1.13.0
0.44.0 2.40.0 6.0.0 2.12 1.13.1 1.13.0
0.43.0 2.40.0 6.0.0 2.11 1.12.0 1.12.0
0.42.0 2.40.0 6.0.0 1.15 / 2.10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 غير متوفر 0.15.0
0.15.0 2.16.0 0.15.0 1.15 غير متوفر غير متوفر
0.14.0 2.14.0 غير متوفر 1.14 غير متوفر غير متوفر
0.13.1 2.11.0 غير متوفر 1.13 غير متوفر غير متوفر
0.13.0 2.11.0 غير متوفر 1.13 غير متوفر غير متوفر
0.12.1 2.10.0 غير متوفر 1.12 غير متوفر غير متوفر
0.12.0 2.10.0 غير متوفر 1.12 غير متوفر غير متوفر
0.11.0 2.8.0 غير متوفر 1.11 غير متوفر غير متوفر
0.9.2 2.6.0 غير متوفر 1.9 غير متوفر غير متوفر
0.9.1 2.6.0 غير متوفر 1.10 غير متوفر غير متوفر
0.9.0 2.5.0 غير متوفر 1.9 غير متوفر غير متوفر
0.6.0 2.4.0 غير متوفر 1.6 غير متوفر غير متوفر

أسئلة

يرجى توجيه أي أسئلة حول العمل مع TFMA إلى Stack Overflow باستخدام علامة تحليل نموذج tensorflow .