לשמור את התאריך! קלט / פלט של Google חוזר 18-20 במאי הירשם עכשיו
דף זה תורגם על ידי Cloud Translation API.
Switch to English

חתוך משקולות לא משמעותיות

נשמר על ידי אופטימיזציה של מודל TensorFlow

מסמך זה מספק סקירה כללית על גיזום הדגם שיעזור לך לקבוע כיצד הוא מתאים למקרה השימוש שלך.

סקירה כללית

גיזום משקל מבוסס-גודל מאפס בהדרגה משקולות מודל במהלך תהליך האימון כדי להשיג דלילות במודל. קל יותר לדחוס מודלים דלילים, ואנחנו יכולים לדלג על אפסים במהלך ההסקה לשיפור חביון.

טכניקה זו מביאה שיפורים באמצעות דחיסת המודל. בעתיד, תמיכה במסגרת למסגרת טכניקה זו תספק שיפורי חביון. ראינו עד 6x שיפורים בדחיסת הדגם עם אובדן דיוק מינימלי.

הטכניקה מוערכת ביישומי דיבור שונים, כגון זיהוי דיבור וטקסט לדיבור, והיא נוסתה על פני מודלים שונים של ראייה ותרגום.

מטריקס תאימות API

משתמשים יכולים ליישם גיזום באמצעות ממשקי ה- API הבאים:

  • בניית מודלים: tf.keras עם רק דגמים רציפים ופונקציונליים
  • גרסאות TensorFlow: TF 1.x לגרסאות 1.14+ ו- 2.x.
    • tf.compat.v1 עם חבילת TF 2.X ו- tf.compat.v2 עם חבילת TF 1.X אינם נתמכים.
  • מצב ביצוע TensorFlow: גם גרף וגם להוט
  • אימונים מבוזרים: tf.distribute עם ביצוע גרפים בלבד

במפת הדרכים שלנו להוסיף תמיכה בתחומים הבאים:

תוצאות

סיווג תמונות

דֶגֶם דיוק ראשוני שאינו דליל דיוק דליל דְלִילוּת
InceptionV3 78.1% 78.0% 50%
76.1% 75%
74.6% 87.5%
מובילנט V1 224 71.04% 70.84% 50%

הדגמים נבדקו ב- Imagenet.

תִרגוּם

דֶגֶם BLEU לא דליל BLEU דליל דְלִילוּת
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

הדגמים משתמשים במערך WMT16 גרמני ואנגלי עם news-test2013 כערכת dev ו- new-test2015 כערכת הבדיקה.

דוגמאות

בנוסף להדרכה לגזום עם קרס , עיין בדוגמאות הבאות:

  • התאמן דגם CNN במשימת סיווג הספרות בכתב יד MNIST עם גיזום: קוד
  • אימן LSTM במשימת סיווג הסנטימנט IMDB עם גיזום: קוד

לקבלת רקע, ראה גיזום או לא גיזום: בחינת יעילות הגיזום לדחיסת המודל [ נייר ].