ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

أوزان ضئيلة تقليم

التي تحتفظ بها TensorFlow نموذج الأمثل

تقدم هذه الوثيقة لمحة عامة عن التقليم نموذج لمساعدتك على تحديد مدى تناسبها مع حالة استخدامك.

  • إلى اليمين الغوص في مثال نهاية إلى نهاية، راجع التقليم مع Keras سبيل المثال.
  • العثور بسرعة على واجهات برمجة التطبيقات التي تحتاج إليها لحالة استخدامك، راجع دليل شامل التقليم .

نظرة عامة

الوزن القائم على حجم تشذيب تدريجيا أصفار من الأوزان نموذج أثناء عملية التدريب لتحقيق تبعثر النموذجي. نماذج قليلة هي أسهل للضغط، ويمكننا تخطي الاصفار خلال الاستدلال لإدخال تحسينات الكمون.

هذا الأسلوب يجلب تحسينات عبر ضغط نموذج. في المستقبل، وسيكون الدعم إطارا لهذه التقنية توفر تحسينات الكمون. رأيناه حتى 6x تحسينات في ضغط نموذج مع فقدان الحد الأدنى من الدقة.

ويجري تقييم هذه التقنية في مختلف التطبيقات الكلام، مثل التعرف على الكلام والنص إلى كلام، وقد جربت على عبر مختلف النماذج رؤية والترجمة.

API التوافق مصفوفة

يمكن للمستخدمين تطبيق التقليم مع واجهات برمجة التطبيقات التالية:

  • بناء نموذج: tf.keras مع فقط متسلسل ونماذج وظيفية
  • إصدارات TensorFlow: TF 1.X لإصدارات 1.14+ و2.X.
    • tf.compat.v1 مع حزمة TF 2.X و tf.compat.v2 غير معتمدة مع مجموعة 1.X TF.
  • وضع تنفيذ TensorFlow: كل من الرسم البياني وحريصة
  • وزعت التدريب: tf.distribute مع تنفيذ الرسم البياني الوحيد

وعلى خارطة طريق لدينا لإضافة دعم في المجالات التالية:

النتائج

تصنيف صور

نموذج غير متفرق من أعلى إلى 1 الدقة دقة متفرق تبعثر
InceptionV3 78.1٪ 78.0٪ 50٪
76.1٪ 75٪
74.6٪ 87.5٪
MobilenetV1 224 71.04٪ 70.84٪ 50٪

تم اختبار النماذج على Imagenet.

ترجمة

نموذج غير متفرق BLEU متفرق BLEU تبعثر
GNMT EN-DE 26.77 26.86 80٪
26.52 85٪
26.19 90٪
GNMT DE-EN 29.47 29.50 80٪
29.24 85٪
28.81 90٪

نماذج استخدام WMT16 الألمانية والإنجليزية مجموعة البيانات مع الأخبار test2013 على أنها مجموعة ديف والأخبار test2015 على أنها مجموعة الاختبار.

أمثلة

بالإضافة إلى تقليم مع Keras تعليمي، راجع الأمثلة التالية:

  • تدريب نموذج CNN على المهمة تصنيف أرقام مكتوبة بخط اليد MNIST مع تقليم: كود
  • تدريب LSTM على المهمة تصنيف المشاعر IMDB مع تقليم: كود

للخلفية، راجع كيفية تقليم، أو عدم تقليم: استكشاف فعالية تشذيب للضغط نموذج [ الورق ].