דף זה תורגם על ידי Cloud Translation API.
Switch to English

באשכול משקל

מתוחזק ע"י זרוע ML נוסע

מסמך זה מספק סקירה על באשכולות משקל כדי לעזור לך לקבוע איך זה משתלב עם תיאור המקרה שלכם.

סקירה כללית

Clustering, או שיתוף משקל, מפחית את מספר ערכי משקל הייחודיים במודל, שמוביל יתרונות לפריסה. זה קבוצות ראשונות את המשקולות של כל שכבה לאשכולות N, משתף את ערך centroid של האשכול עבור כל המשקולות השייכות לאשכול.

טכניקה זו מביאה שיפורים באמצעות דחיסת מודל. תמיכה עתידית במסגרת יכולה לפתוח שיפורי טביעת זיכרון שיכול להשפיע בצורה מכרעת לפריסת מודלים למידה עמוקות על מערכות משובצות עם משאבים מוגבלים.

התנסינו clustering פני משימות ראייה ודיבור. ראינו עד 5x שיפורים בדחיסת דגם עם הפסד מינימלי של דיוק, כפי שהוכח על ידי התוצאות המוצגות להלן.

שים לב כי באשכולות יספקו יתרונות מופחתים עבור שכבות קונבולוציה צפופה שקודמות שכבו נורמליזציה יצווה, כמו גם בשילוב עם קוונטיזציה לכל ציר שלאחר אימון.

מטריקס תאימות API

משתמשים יכולים להחיל באשכולות עם ה- API הבא:

  • בניין דגם: tf.keras עם רק סדרתית ומודלים פונקציונליים
  • גרסאות TensorFlow: 1.x TF עבור גרסאות 1.14+ ו 2.X.
    • tf.compat.v1 עם חבילת 2.X TF ו tf.compat.v2 עם חבילת 1.x TF אינו נתמך.
  • מצב ביצוע TensorFlow: הן גרף ולהוט

תוצאות

סיווג תמונה

דֶגֶם מְקוֹרִי אשכול
Top-1 דיוק (%) גודל של .tflite דחוס (MB) תְצוּרָה # של אשכולות Top-1 דיוק (%) גודל של .tflite דחוס (MB)
MobileNetV1 71.02 14.96
סלקטיבי (אחרון 3 שכבות Conv2D) 256, 256, 32 70.62 8.42
מלאות (כל שכבות Conv2D) 64 66.07 2.98
MobileNetV2 72.29 12.90
סלקטיבי (אחרון 3 שכבות Conv2D) 256, 256, 32 72.31 7.00
מלאות (כל שכבות Conv2D) 32 69.33 2.60

המודלים הוכשרו ונבדקו על אימג'נט.

תצפית מילות

דֶגֶם מְקוֹרִי אשכול
Top-1 דיוק (%) גודל של .tflite דחוס (MB) תְצוּרָה # של אשכולות Top-1 דיוק (%) גודל של .tflite דחוס (MB)
DS-CNN-L 95.03 1.5 מלא 32 94.71 0.3

המודלים הוכשרו ונבדקו על v0.02 SpeechCommands.

  1. בהמשכים את המודל Keras לתוך קובץ .h5
  2. המרת קובץ .h5 לתוך .tflite באמצעות TFLiteConverter.from_keras_model_file()
  3. לדחוס את הקובץ .tflite לתוך zip

דוגמאות

בנוסף באשכולות משקל בדוגמה Keras , לראות את הדוגמאות הבאות:

  • אשכול משקלי מודל CNN מאומן על הנתונים סיווג ספרות בכתב יד MNIST: קוד

יישום האשכולות במשקל מבוסס על הדחיסה העמוקה: גיזום עם רשתות עצביות עמוק דחיסה, הכשרת קוונטיזציה ו האפמן קידוד נייר . פרק 3 ראה, שכותרתו הכשרת קוונטיזציה ומשקל שיתוף.