עדכון: יוני, 2021
ערכת הכלים לאופטימיזציה של מודלים (MOT) של TensorFlow הייתה בשימוש נרחב להמרה/אופטימיזציה של דגמי TensorFlow לדגמי TensorFlow Lite עם גודל קטן יותר, ביצועים טובים יותר ודיוק מקובל כדי להפעיל אותם במכשירי נייד ו-IoT. אנו פועלים כעת להרחבת טכניקות MOT וכלי עבודה מעבר ל-TensorFlow Lite כדי לתמוך גם ב-TensorFlow SavedModel.
להלן מייצג סקירה ברמה גבוהה של מפת הדרכים שלנו. עליך להיות מודע לכך שמפת דרכים זו עשויה להשתנות בכל עת והסדר שלהלן אינו משקף כל סוג של עדיפות. אנו ממליצים בחום להגיב על מפת הדרכים שלנו ולספק לנו משוב בקבוצת הדיון .
כימות
TensorFlow Lite
- קוונטיזציה סלקטיבית לאחר אימון כדי לא לכלול שכבות מסוימות מקוונטיזציה.
- מאתר באגים של קוונטיזציה לבדיקת הפסדי שגיאות קוונטיזציה לכל שכבה.
- יישום הכשרה מודעת לקוונטיזציה על כיסוי מודלים נוסף, למשל TensorFlow Model Garden.
- שיפורי איכות וביצועים עבור טווח דינמי לאחר אימון. כימות.
TensorFlow
- Quantization Post Training (bf16 * טווח דינמי int8).
- אימון מודע לכיוונטיזציה ((bf16 * משקל int8 בלבד עם quant מזויף).
- קוונטיזציה סלקטיבית לאחר אימון כדי לא לכלול שכבות מסוימות מקוונטיזציה.
- מאתר באגים של קוונטיזציה לבדיקת הפסדי שגיאות קוונטיזציה לכל שכבה.
דְלִילוּת
TensorFlow Lite
- תמיכה בביצוע דגמים דלילה עבור דגמים נוספים.
- כתיבה מודעת ליעד עבור Sparsity.
- הרחב את סט ההפעלה הדלילה עם גרעיני x86 ביצועיים.
TensorFlow
- תמיכת Sparity ב-TensorFlow.
טכניקות דחיסה מדורגת
- קוונטיזציה + דחיסת טנזור + דלילות: הדגימו את כל 3 הטכניקות הפועלות יחד.
דְחִיסָה
- API לדחיסה של Tensor כדי לעזור למפתחי אלגוריתמי דחיסה ליישם אלגוריתם דחיסה משלהם (למשל Weight Clustering) כולל מתן דרך סטנדרטית לבדיקה/בנצ'מרק.