جعبه ابزار بهینه سازی مدل TensorFlow پیچیدگی بهینه سازی استنتاج یادگیری ماشین را به حداقل می رساند.
کارایی استنتاج به دلیل تأخیر، استفاده از حافظه و در بسیاری از موارد مصرف انرژی، هنگام استقرار مدل‌های یادگیری ماشین، یک نگرانی مهم است. به ویژه در دستگاه‌های لبه‌ای، مانند موبایل و اینترنت اشیا (IoT)، منابع محدودتر می‌شوند و اندازه مدل و کارایی محاسبات به یک نگرانی اصلی تبدیل می‌شود.
تقاضای محاسباتی برای آموزش با تعداد مدل های آموزش داده شده در معماری های مختلف افزایش می یابد، در حالی که تقاضای محاسباتی برای استنتاج متناسب با تعداد کاربران افزایش می یابد.
موارد استفاده کنید
بهینه سازی مدل از جمله موارد زیر مفید است:
- کاهش تأخیر و هزینه استنتاج هم برای دستگاه های ابری و هم برای دستگاه های لبه (مانند موبایل، اینترنت اشیا).
- استقرار مدل‌ها در دستگاه‌های لبه با محدودیت‌هایی در پردازش، حافظه و/یا مصرف انرژی.
- کاهش حجم محموله برای به‌روزرسانی مدل‌های هوایی.
- فعال کردن اجرا بر روی سخت افزار محدود شده یا بهینه شده برای عملیات نقطه ثابت.
- بهینه سازی مدل ها برای شتاب دهنده های سخت افزاری با هدف خاص.
تکنیک های بهینه سازی
حوزه بهینه سازی مدل می تواند شامل تکنیک های مختلفی باشد:
- با هرس و هرس ساختاری تعداد پارامترها را کاهش دهید.
- کاهش دقت نمایش با کوانتیزاسیون.
- توپولوژی مدل اصلی را به یک توپولوژی کارآمدتر با پارامترهای کاهش یافته یا اجرای سریعتر به روز کنید. به عنوان مثال، روش های تجزیه تانسور و تقطیر
جعبه ابزار ما از کوانتیزاسیون پس از آموزش ، آموزش آگاهانه کوانتیشن ، هرس و خوشه بندی پشتیبانی می کند. این جعبه ابزار همچنین پشتیبانی آزمایشی را برای بهینه‌سازی مشارکتی برای ترکیب تکنیک‌های مختلف فراهم می‌کند.
کوانتیزاسیون
مدل‌های کوانتیزه مدل‌هایی هستند که در آنها مدل‌ها را با دقت کمتری نشان می‌دهیم، مانند اعداد صحیح 8 بیتی در مقابل شناور 32 بیتی. دقت کمتر لازمه استفاده از سخت افزار خاص است.
پراکندگی و هرس
مدل‌های پراکنده آن‌هایی هستند که در آن اتصالات بین اپراتورها (به عنوان مثال لایه‌های شبکه عصبی) قطع شده‌اند و صفرها را به تانسورهای پارامتر وارد می‌کنند.
خوشه بندی
مدل های خوشه ای مدل هایی هستند که در آن پارامترهای مدل اصلی با تعداد کمتری از مقادیر منحصر به فرد جایگزین می شوند.
بهینه سازی مشارکتی
این جعبه ابزار پشتیبانی آزمایشی را برای بهینه‌سازی مشارکتی فراهم می‌کند. این به شما امکان می دهد از ترکیب چندین تکنیک فشرده سازی مدل بهره مند شوید و به طور همزمان از طریق آموزش آگاهی از کوانتیزاسیون به دقت بهبود یافته دست یابید.