تقلل مجموعة أدوات تحسين نموذج TensorFlow من تعقيد تحسين استدلال التعلم الآلي.
تعد كفاءة الاستدلال مصدر قلق بالغ عند نشر نماذج التعلم الآلي بسبب زمن الوصول واستخدام الذاكرة وفي كثير من الحالات استهلاك الطاقة. على وجه الخصوص على الأجهزة المتطورة ، مثل الهاتف المحمول وإنترنت الأشياء (IoT) ، يتم تقييد الموارد بشكل أكبر ، وأصبح حجم النموذج وكفاءة الحساب مصدر قلق كبير.
ينمو الطلب الحسابي على التدريب مع زيادة عدد النماذج المدربة على بنيات مختلفة ، بينما ينمو الطلب الحسابي على الاستدلال بما يتناسب مع عدد المستخدمين.
استخدم حالات
يعد تحسين النموذج مفيدًا ، من بين أشياء أخرى ، من أجل:
- تقليل زمن الوصول وتكلفة الاستدلال لكل من الأجهزة السحابية والحافة (مثل الأجهزة المحمولة وإنترنت الأشياء).
- نشر النماذج على الأجهزة المتطورة مع قيود على المعالجة والذاكرة و / أو استهلاك الطاقة.
- تقليل حجم الحمولة لتحديثات الطراز عبر الهواء.
- تمكين التنفيذ على الأجهزة المقيدة بعمليات النقطة الثابتة أو المحسّنة من أجلها.
- تحسين النماذج لمسرعات الأجهزة ذات الأغراض الخاصة.
تقنيات التحسين
يمكن أن يتضمن مجال تحسين النموذج تقنيات مختلفة:
- تقليل عدد المعلمات مع التقليم والتقليم المنظم.
- تقليل الدقة التمثيلية باستخدام التكميم.
- قم بتحديث هيكل النموذج الأصلي إلى هيكل أكثر كفاءة مع معلمات منخفضة أو تنفيذ أسرع. على سبيل المثال ، طرق تحلل الموتر والتقطير
تدعم مجموعة الأدوات الخاصة بنا تكميم ما بعد التدريب ، والتدريب على الوعي بالتكميم ، والتقليم ، والتكتل . توفر مجموعة الأدوات أيضًا دعمًا تجريبيًا للتحسين التعاوني للجمع بين التقنيات المختلفة.
توضيح
النماذج الكمية هي تلك التي نمثل فيها النماذج بدقة أقل ، مثل الأعداد الصحيحة 8 بت بدلاً من عدد 32 بت. تعد الدقة الأقل مطلبًا للاستفادة من أجهزة معينة.
النثر والتقليم
النماذج المتفرقة هي تلك التي تم فيها تقليم الاتصالات بين المشغلين (أي طبقات الشبكة العصبية) ، مما يؤدي إلى إدخال أصفار إلى موترات المعلمات.
تجمع
النماذج العنقودية هي تلك التي يتم فيها استبدال معلمات النموذج الأصلي بعدد أقل من القيم الفريدة.
التحسين التعاوني
توفر مجموعة الأدوات دعمًا تجريبيًا للتحسين التعاوني. يمكّنك هذا من الاستفادة من الجمع بين العديد من تقنيات ضغط النماذج وتحقيق دقة محسّنة في نفس الوقت من خلال التدريب المدرك للتكميم.