تقليم الأوزان غير المهمة

يقدم هذا المستند نظرة عامة حول تقليم النموذج لمساعدتك في تحديد مدى ملاءمته لحالة الاستخدام الخاصة بك.

ملخص

يؤدي تقليم الوزن المستند إلى الحجم إلى صفر تدريجياً من أوزان النموذج أثناء عملية التدريب لتحقيق تناثر النموذج. من السهل ضغط النماذج المتفرقة ، ويمكننا تخطي الأصفار أثناء الاستدلال لتحسين وقت الاستجابة.

تجلب هذه التقنية تحسينات عبر ضغط النموذج. في المستقبل ، سيوفر دعم إطار العمل لهذه التقنية تحسينات زمن الوصول. لقد رأينا ما يصل إلى 6x تحسينات في ضغط النموذج مع الحد الأدنى من فقدان الدقة.

يتم تقييم هذه التقنية في تطبيقات الكلام المختلفة ، مثل التعرف على الكلام وتحويل النص إلى كلام ، وتم تجربتها عبر نماذج الرؤية والترجمة المختلفة.

مصفوفة توافق API

يمكن للمستخدمين تطبيق التقليم باستخدام واجهات برمجة التطبيقات التالية:

  • بناء النموذج: tf.keras مع النماذج المتسلسلة والوظيفية فقط
  • إصدارات TensorFlow: TF 1.x للإصدارات 1.14+ و 2.x.
  • وضع تنفيذ TensorFlow: الرسم البياني والشغف
  • التدريب الموزع: tf.distribute مع تنفيذ الرسم البياني فقط

يوجد في خارطة الطريق لدينا لإضافة الدعم في المجالات التالية:

نتائج

تصنيف الصور

نموذج دقة غير متفرقة من الدرجة الأولى دقة متفرقة عشوائية تناثر عشوائي دقة متفرقة منظمة تناثر منظم
التأسيس 78.1٪ 78.0٪ 50٪ 75.8٪ 2 في 4
76.1٪ 75٪
74.6٪ 87.5٪
MobilenetV1224 71.04٪ 70.84٪ 50٪ 67.35٪ 2 في 4
MobilenetV2224 71.77٪ 69.64٪ 50٪ 66.75٪ 2 في 4

تم اختبار النماذج على Imagenet.

ترجمة

نموذج BLEU غير متفرق متفرقة BLEU تناثر
GNMT EN-DE 26.77 26.86 80٪
26.52 85٪
26.19 90٪
GNMT DE-EN 29.47 29.50 80٪
29.24 85٪
28.81 90٪

تستخدم النماذج مجموعة بيانات WMT16 الألمانية والإنجليزية مع news-test2013 كمجموعة مطورة و news-test2015 كمجموعة اختبار.

نموذج تحديد الكلمات الرئيسية

DS-CNN-L هو نموذج اكتشاف الكلمات الرئيسية الذي تم إنشاؤه للأجهزة المتطورة. يمكن العثور عليها في مستودع أمثلة برامج ARM.

نموذج دقة غير متفرقة دقة متفرقة منظمة (2 × 4 نمط) دقة التوزيع العشوائي (التباين المستهدف 50٪)
DS-CNN-L 95.23 94.33 94.84

أمثلة

بالإضافة إلى البرنامج التعليمي Prune with Keras ، راجع الأمثلة التالية:

  • قم بتدريب نموذج CNN على مهمة تصنيف الأرقام المكتوبة بخط اليد MNIST مع التقليم: الكود
  • قم بتدريب LSTM على مهمة تصنيف المشاعر IMDB مع التقليم: الكود

للحصول على الخلفية ، راجع التقليم أو عدم التقليم: استكشاف فعالية التقليم لضغط النموذج [ ورقة ].