مؤتمر Google I / O هو التفاف! تابع جلسات TensorFlow اعرض الجلسات

تقليم الأوزان غير المهمة

يقدم هذا المستند نظرة عامة حول تقليم النموذج لمساعدتك في تحديد مدى ملاءمته لحالة الاستخدام الخاصة بك.

ملخص

يؤدي تقليم الوزن المستند إلى الحجم إلى صفر تدريجياً من أوزان النموذج أثناء عملية التدريب لتحقيق تناثر النموذج. من السهل ضغط النماذج المتفرقة ، ويمكننا تخطي الأصفار أثناء الاستدلال لتحسين وقت الاستجابة.

تجلب هذه التقنية تحسينات عبر ضغط النموذج. في المستقبل ، سيوفر دعم إطار العمل لهذه التقنية تحسينات زمن الوصول. لقد رأينا ما يصل إلى 6x تحسينات في ضغط النموذج مع الحد الأدنى من فقدان الدقة.

يتم تقييم هذه التقنية في تطبيقات الكلام المختلفة ، مثل التعرف على الكلام وتحويل النص إلى كلام ، وتم تجربتها عبر نماذج الرؤية والترجمة المختلفة.

مصفوفة توافق API

يمكن للمستخدمين تطبيق التقليم باستخدام واجهات برمجة التطبيقات التالية:

  • بناء نموذج: tf.keras مع فقط متسلسل ونماذج وظيفية
  • إصدارات TensorFlow: TF 1.x للإصدارات 1.14+ و 2.x.
    • tf.compat.v1 مع حزمة TF 2.X و tf.compat.v2 غير معتمدة مع مجموعة 1.X TF.
  • وضع تنفيذ TensorFlow: الرسم البياني والشغوف
  • وزعت التدريب: tf.distribute مع تنفيذ الرسم البياني الوحيد

يوجد في خارطة الطريق لدينا لإضافة الدعم في المجالات التالية:

نتائج

تصنيف الصور

نموذج دقة غير متفرقة من الدرجة الأولى دقة متفرقة عشوائية تناثر عشوائي دقة متفرقة منظمة تناثر منظم
التأسيس 78.1٪ 78.0٪ 50٪ 75.8٪ 2 في 4
76.1٪ 75٪
74.6٪ 87.5٪
MobilenetV1224 71.04٪ 70.84٪ 50٪ 67.35٪ 2 في 4
MobilenetV2224 71.77٪ 69.64٪ 50٪ 66.75٪ 2 في 4

تم اختبار النماذج على Imagenet.

ترجمة

نموذج BLEU غير متفرق متفرقة BLEU تناثر
GNMT EN-DE 26.77 26.86 80٪
26.52 85٪
26.19 90٪
GNMT DE-EN 29.47 29.50 80٪
29.24 85٪
28.81 90٪

تستخدم النماذج مجموعة بيانات WMT16 الألمانية والإنجليزية مع news-test2013 كمجموعة مطورة و news-test2015 كمجموعة اختبار.

نموذج تحديد الكلمات الرئيسية

DS-CNN-L هو نموذج لتحديد الكلمات الرئيسية تم إنشاؤه للأجهزة المتطورة. ويمكن العثور عليها في ARM البرمجيات أمثلة مستودع .

نموذج دقة غير متفرقة دقة متفرقة منظمة (2 × 4 نمط) دقة التوزيع العشوائي (التباين المستهدف 50٪)
DS-CNN-L 95.23 94.33 94.84

أمثلة

بالإضافة إلى تقليم مع Keras تعليمي، راجع الأمثلة التالية:

  • تدريب نموذج CNN على المهمة تصنيف أرقام مكتوبة بخط اليد MNIST مع تقليم: كود
  • تدريب LSTM على المهمة تصنيف المشاعر IMDB مع تقليم: كود

للخلفية، راجع كيفية تقليم، أو عدم تقليم: استكشاف فعالية تشذيب للضغط نموذج [ الورق ].