این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

بهینه سازی مدل TensorFlow

مجموعه ابزار بهینه سازی مدل TensorFlow پیچیدگی بهینه سازی استنباط یادگیری ماشین را به حداقل می رساند.

راندمان استنتاج هنگام استقرار مدل های یادگیری ماشین به دلیل تأخیر ، استفاده از حافظه و در بسیاری از موارد مصرف برق یک نگرانی اساسی است. به خصوص در دستگاه های لبه ، مانند موبایل و اینترنت اشیاء (IoT) ، منابع بیشتر محدود می شوند و اندازه مدل و کارایی محاسبات به یک نگرانی اصلی تبدیل می شود.

تقاضای محاسباتی برای آموزش با تعداد مدل هایی که در معماری های مختلف آموزش دیده اند رشد می کند ، در حالی که تقاضای محاسباتی برای استنتاج متناسب با تعداد کاربران افزایش می یابد.

از موارد استفاده کنید

بهینه سازی مدل ، از جمله موارد دیگر ، مفید است:

  • کاهش تأخیر و هزینه برای استنتاج برای هر دو دستگاه ابری و لبه (به عنوان مثال موبایل ، IoT).
  • استقرار مدل در دستگاه های لبه با محدودیت در پردازش ، حافظه و / یا مصرف برق.
  • کاهش حجم بار برای به روزرسانی های مدل بیش از حد هوا.
  • اجرای عملیات سخت افزاری محدود یا بهینه سازی شده برای نقاط ثابت.
  • بهینه سازی مدل ها برای شتاب دهنده های سخت افزاری برای اهداف خاص.

تکنیک های بهینه سازی

حوزه بهینه سازی مدل می تواند تکنیک های مختلفی را شامل شود:

  • شمارش پارامتر را با هرس و هرس ساختاری کاهش دهید.
  • دقت نمایندگی را با کمیت کاهش دهید.
  • توپولوژی مدل اصلی را به یک کارآمدتر با کاهش پارامترها یا اجرای سریعتر به روز کنید. به عنوان مثال ، روش های تجزیه تانسور و تقطیر

مجموعه ابزار ما از کمیت سنجی بعد از آموزش ، آموزش کمیت آگاهی ، هرس و خوشه بندی پشتیبانی می کند .

کمیت

مدل های کمّی آنهایی هستند که ما مدل هایی را با دقت کمتری ارائه می دهیم ، مانند اعداد صحیح 8 بیتی در مقابل شناور 32 بیتی. دقت پایین یک الزام برای استفاده از سخت افزار خاص است.

کمبود و هرس

مدل های پراکنده آنهایی هستند که اتصالات بین اپراتورها (یعنی لایه های شبکه عصبی) هرس شده اند و صفر ها را به سوییچ های پارامتر معرفی می کنند.

خوشه بندی

مدل های خوشه ای مواردی هستند که پارامترهای مدل اصلی با تعداد کمتری از مقادیر منحصر به فرد جایگزین می شوند.