עזרה להגן על שונית המחסום הגדולה עם TensorFlow על Kaggle הצטרפו אתגר

ניתוח מודל TensorFlow

TensorFlow דגם ניתוח (TFMA) היא ספריה להערכת מודלים TensorFlow. זה מאפשר למשתמשים להעריך את המודלים שלהם על כמויות גדולות של נתונים בצורה מבוזרת, תוך שימוש באותם מדדים שהוגדרו במאמן שלהם. ניתן לחשב מדדים אלה על פני פרוסות נתונים שונות ולהמחיש אותם במחברות Jupyter.

דפדפן מדדי חיתוך TFMA

הַתקָנָה

הדרך המומלצת להתקין TFMA משתמשת בחבילת PyPI :

pip install tensorflow-model-analysis

בניית TFMA ממקור

כדי לבנות ממקור בצע את השלבים הבאים:

התקן את protoc לפי הקישור שהוזכר: protoc

צור סביבה וירטואלית על ידי הפעלת הפקודות

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

זה יבנה את גלגל TFMA בספריית dist. כדי להתקין את הגלגל מתוך ספריית dist הפעל את הפקודות

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

חבילות לילה

TFMA מארח גם חבילות ליליות בבית https://pypi-nightly.tensorflow.org על Google Cloud Print. כדי להתקין את החבילה הלילית העדכנית ביותר, אנא השתמש בפקודה הבאה:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

זה יתקין את החבילות הליליות עבור התלות העיקריות של TFMA כגון TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

נכון לעכשיו, TFMA דורשת התקנה של TensorFlow אך אין לה תלות מפורשת בחבילת TensorFlow PyPI. עיין TensorFlow להתקין מדריכים לקבלת הוראות.

כדי להפעיל הדמיית TFMA ב-Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

מעבדת ג'ופיטר

נכון לכתיבה, בגלל https://github.com/pypa/pip/issues/9187, pip install אולי לא לסיים. במקרה כזה, אתה צריך לחזור PIP לגרסה 19 במקום 20: pip install "pip<20" .

שימוש בתוסף JupyterLab דורש התקנת תלות בשורת הפקודה. אתה יכול לעשות זאת בתוך המסוף בממשק המשתמש של JupyterLab או בשורת הפקודה. זה כולל התקנה בנפרד של כל התלות בחבילת pip ותלות של תוסף labextension של JupyterLab, ומספרי הגרסה חייבים להיות תואמים.

הדוגמאות שלהלן משתמשות ב-0.27.0. בדוק זמין בגרסאות הבאות כדי להשתמש המאוחר.

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

פתרון תקלות

בדוק חבילות pip:

pip list

בדוק הרחבות:

jupyter labextension list

תלות בולטת

נדרש TensorFlow.

אפצ'י Beam נדרשת; זו הדרך שבה נתמך חישוב מבוזר יעיל. כברירת מחדל, אפצ'י Beam פועל במצב מקומי אלא גם יכול לפעול במצב מופץ באמצעות Google Cloud dataflow ו Apache Beam אחרים רצים .

חץ Apache נדרש גם. TFMA משתמש בחץ כדי לייצג נתונים פנימית על מנת לעשות שימוש בפונקציות numpy מוקטורות.

מתחילים

לקבלת הוראות לשימוש TFMA, לראות את המדריך לתחילת הגט .

גרסאות תואמות

הטבלה הבאה היא גרסאות חבילת TFMA התואמות זו לזו. זו נקבעת על ידי מסגרת הבדיקות שלנו, אבל שילובים שלא נבדקו אחרים עשויים גם לעבוד.

tensorflow-מודל-ניתוח apache-beam[gcp] פירו זרימת טנסור tensorflow-metadata tfx-bsl
מאסטר GitHub 2.34.0 2.0.0 מדי לילה (1.x/2.x) 1.5.0 1.5.0
0.36.0 2.34.0 2.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 2.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 לא 0.15.0
0.15.0 2.16.0 0.15.0 1.15 לא לא
0.14.0 2.14.0 לא 1.14 לא לא
0.13.1 2.11.0 לא 1.13 לא לא
0.13.0 2.11.0 לא 1.13 לא לא
0.12.1 2.10.0 לא 1.12 לא לא
0.12.0 2.10.0 לא 1.12 לא לא
0.11.0 2.8.0 לא 1.11 לא לא
0.9.2 2.6.0 לא 1.9 לא לא
0.9.1 2.6.0 לא 1.10 לא לא
0.9.0 2.5.0 לא 1.9 לא לא
0.6.0 2.4.0 לא 1.6 לא לא

שאלות

אם יש לך שאלות על עבודה עם TFMA כדי הצפת מחסנית באמצעות tensorflow-מודל-אנליזת התג.