השב / י לאירוע TensorFlow Everywhere המקומי שלך היום!
דף זה תורגם על ידי Cloud Translation API.
Switch to English

קיבוץ משקל

מתוחזק על ידי זרוע ML Tooling

מסמך זה מספק סקירה כללית על קיבוץ משקל שיעזור לך לקבוע כיצד הוא מתאים למקרה השימוש שלך.

סקירה כללית

אשכולות, או חלוקת משקל, מפחיתים את מספר ערכי המשקל הייחודיים במודל, מה שמוביל ליתרונות לפריסה. תחילה הוא מקבץ את המשקולות של כל שכבה לאשכולות N , ואז חולק את הערך המרכזי של האשכול עבור כל המשקולות השייכות לאשכול.

טכניקה זו מביאה שיפורים באמצעות דחיסת המודל. תמיכה מסגרת עתידית יכולה לפתוח שיפורים בזיכרון שיכולים לחולל שינוי מכריע בפריסת מודלים של למידה עמוקה במערכות משובצות עם משאבים מוגבלים.

התנסינו באשכולות על פני משימות חזון ודיבור. ראינו עד פי 5 שיפורים בדחיסת המודל עם אובדן דיוק מינימלי, כפי שמוצג בתוצאות המוצגות להלן.

לידיעתך, אשכולות יספקו יתרונות מופחתים לשכבות עוויתות ושכבות צפופות שקדמו לשכבת נורמליזציה של אצווה, כמו גם בשילוב עם כימות לכל ציר לאחר אימון.

מטריצת תאימות API

משתמשים יכולים להחיל אשכולות באמצעות ממשקי ה- API הבאים:

  • בניית מודלים: tf.keras עם רק דגמים רציפים ופונקציונליים
  • גרסאות TensorFlow: TF 1.x לגרסאות 1.14+ ו- 2.x.
    • tf.compat.v1 עם חבילת TF 2.X ו- tf.compat.v2 עם חבילת TF 1.X אינם נתמכים.
  • מצב ביצוע TensorFlow: גם גרף וגם להוט

תוצאות

סיווג תמונות

דֶגֶם מְקוֹרִי מקובצים
דיוק ראשון 1 (%) גודל .tflite דחוס (MB) תְצוּרָה מספר אשכולות דיוק ראשון 1 (%) גודל .tflite דחוס (MB)
MobileNetV1 71.02 14.96
סלקטיבי (3 השכבות האחרונות של Conv2D) 256, 256, 32 70.62 8.42
מלא (כל שכבות Conv2D) 64 66.07 2.98
MobileNetV2 72.29 12.90
סלקטיבי (3 השכבות האחרונות של Conv2D) 256, 256, 32 72.31 7.00
מלא (כל שכבות Conv2D) 32 69.33 2.60

המודלים הוכשרו ונבדקו ב- ImageNet.

איתור מילות מפתח

דֶגֶם מְקוֹרִי מקובצים
דיוק ראשון 1 (%) גודל .tflite דחוס (MB) תְצוּרָה מספר אשכולות דיוק ראשון 1 (%) גודל .tflite דחוס (MB)
DS-CNN-L 95.03 1.5 מלא 32 94.71 0.3

הדגמים הוכשרו ונבדקו ב- SpeechCommands v0.02.

  1. סידרו את דגם Keras לקובץ .h5
  2. המר את קובץ ה- .h5 ל- .tflite באמצעות TFLiteConverter.from_keras_model_file()
  3. דחיס את קובץ ה-. Tflite ל- zip

דוגמאות

בנוסף לאשכול המשקל בדוגמת Keras , ראה את הדוגמאות הבאות:

  • מקבצים את המשקולות של מודל CNN שהוכשר במערך הסיווג הספרותי MNIST בכתב יד: קוד

יישום אשכול המשקל מבוסס על דחיסה עמוקה: דחיסת רשתות עצביות עמוקות עם גיזום, כימות מאומנת ונייר קידוד של הופמן . ראה פרק 3, שכותרתו כימות מאומנת וחלוקת משקל .