דף זה תורגם על ידי Cloud Translation API.
Switch to English

Trim משקולות אפסיות

מתוחזק ע"י TensorFlow דגם אופטימיזציה

מסמך זה מספק סקירה על מודל גיזום כדי לעזור לך לקבוע איך זה משתלב עם תיאור המקרה שלכם.

סקירה כללית

מגניטודה מבוסס משקל גיזום אפסים בהדרגה את משקלות מודל במהלך תהליך האימון כדי להשיג דְלִילוּת מודל. מודלים דלילים קלים יותר לדחוס, ואנחנו יכולים לדלג האפסים במהלך היקש לשיפורי שהייה.

טכניקה זו מביאה שיפורים באמצעות דחיסת מודל. בעתיד, תמיכה מסגרת טכניקה זו תספק שיפורים חביון. ראינו עד 6x שיפורים בדחיסת דגם עם הפסד מינימלי של דיוק.

הטכניקה נבחנת ביישומי דיבור שונים, כגון זיהוי דיבור וטקסט לדיבור, ומאז ניסויים על פני מודלי חזון ותרגום שונים.

API מטריקס תאימות

משתמשים יכולים להחיל גיזום עם ה- API הבא:

  • בניין דגם: tf.keras עם רק סדרתית ומודלים פונקציונליים
  • גרסאות TensorFlow: 1.x TF עבור גרסאות 1.14+ ו 2.X.
    • tf.compat.v1 עם חבילת 2.X TF ו tf.compat.v2 עם חבילת 1.x TF אינו נתמך.
  • מצב ביצוע TensorFlow: הן גרף ולהוט
  • אימון מבוזרת: tf.distribute עם ביצוע גרף רק

זה על מפת הדרכים שלנו להוסיף תמיכה בתחומים הבאים:

תוצאות

סיווג תמונה

דֶגֶם דיוק ללא דלילה Top-1 דיוק דליל דְלִילוּת
InceptionV3 78.1% 78.0% 50%
76.1% 75%
74.6% 87.5%
MobilenetV1 224 71.04% 70.84% 50%

המודלים נבדקו על אימג'נט.

תִרגוּם

דֶגֶם ללא דלילה Bleu הדליל Bleu דְלִילוּת
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

המודלים להשתמש WMT16 גרמני במערך אנגלית עם חדשות-test2013 כפי שנקבע dev וחדשות-test2015 כפי שנקבע המבחן.

דוגמאות

בנוסף פרון עם Keras הדרכה, לראות את הדוגמאות הבאות:

  • רכבת מודל CNN על עצמו את המשימה סיווג ספרות בכתב יד MNIST עם גיזום: קוד
  • להכשיר LSTM על עצמו את המשימה סיווג סנטימנט IMDB עם גיזום: קוד

לקבלת רקע, לראות לגזום, או לא לגזום: לחקור את היעילות של גיזום עבור דחיסת מודל [ נייר ].