این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

بهینه سازی مدل TensorFlow

جعبه ابزار بهینه سازی مدل TensorFlow پیچیدگی بهینه سازی استنباط یادگیری ماشین را به حداقل می رساند.

کارایی استنتاج هنگام استفاده از مدل های یادگیری ماشین به دلیل تأخیر ، استفاده از حافظه و در بسیاری از موارد مصرف برق ، یک نگرانی اساسی است. به ویژه در دستگاه های لبه دار ، مانند تلفن همراه و اینترنت اشیا ((اینترنت اشیا) ، منابع محدودتر می شوند و اندازه مدل و کارایی محاسبات به یک نگرانی عمده تبدیل می شود.

تقاضای محاسباتی برای آموزش با تعداد مدل های آموزش دیده در معماری های مختلف افزایش می یابد ، در حالی که تقاضای محاسباتی برای استنباط متناسب با تعداد کاربران رشد می کند.

از موارد استفاده کنید

بهینه سازی مدل ، از جمله موارد دیگر ، برای موارد زیر مفید است:

  • کاهش تأخیر و هزینه استنباط برای هر دو دستگاه ابری و لبه ای (به عنوان مثال تلفن همراه ، اینترنت اشیا).
  • استقرار مدل ها در دستگاه های لبه ای با محدودیت در پردازش ، حافظه و / یا مصرف برق.
  • کاهش حجم بار برای به روزرسانی های مدل هوا.
  • امکان اجرای در مورد سخت افزارهای محدود شده یا بهینه شده برای عملیات با نقطه ثابت.
  • بهینه سازی مدل ها برای شتاب دهنده های سخت افزاری ویژه

تکنیک های بهینه سازی

حوزه بهینه سازی مدل می تواند شامل تکنیک های مختلفی باشد:

  • با هرس و هرس ساختاری تعداد پارامترها را کاهش دهید.
  • با کمی سازی ، دقت بازنمایی را کاهش دهید.
  • توپولوژی مدل اصلی را به مدل کارآمدتر با کاهش پارامترها یا اجرای سریعتر به روز کنید. به عنوان مثال ، روش های تجزیه تنسور و تقطیر

مجموعه ابزارهای ما از کمی سازی بعد از آموزش ، آموزش آگاهانه از میزان ، هرس و خوشه بندی پشتیبانی می کند .

کمی سازی

مدل های کوانتیزه شده مدل هایی هستند که ما مدل ها را با دقت کمتری نشان می دهیم ، مانند عددهای صحیح 8 بیتی در مقابل شناور 32 بیتی. دقت پایین نیاز به استفاده از سخت افزار خاص است.

پراکنده و هرس

مدلهای پراکنده مدلهایی هستند که اتصالات بین اپراتورها (به عنوان مثال لایه های شبکه عصبی) هرس شده و صفر را به سنسورهای پارامتر وارد می کنند.

خوشه بندی

مدلهای خوشه ای به مواردی گفته می شود که پارامترهای مدل اصلی با تعداد کمتری از مقادیر منحصر به فرد جایگزین شوند.