به روز شده: ژوئن، 2021
جعبه ابزار بهینه سازی مدل TensorFlow (MOT) به طور گسترده برای تبدیل/بهینه سازی مدل های TensorFlow به مدل های TensorFlow Lite با اندازه کوچکتر، عملکرد بهتر و دقت قابل قبول برای اجرای آنها بر روی دستگاه های تلفن همراه و اینترنت اشیا استفاده شده است. ما اکنون در تلاش هستیم تا تکنیک‌ها و ابزار MOT را فراتر از TensorFlow Lite گسترش دهیم تا از TensorFlow SavedModel نیز پشتیبانی کنیم.
موارد زیر نمایانگر سطح بالایی از نقشه راه ما است. باید توجه داشته باشید که این نقشه راه ممکن است در هر زمانی تغییر کند و ترتیب زیر نشان دهنده هیچ نوع اولویتی نیست. ما قویاً شما را تشویق می کنیم که در مورد نقشه راه ما نظر دهید و بازخورد خود را در گروه بحث به ما ارائه دهید.
کوانتیزاسیون
TensorFlow Lite
- کوانتیزاسیون انتخابی پس از آموزش برای حذف لایه های خاصی از کوانتیزه کردن.
- رفع اشکال کوانتیزاسیون برای بررسی تلفات خطای کوانتیزاسیون در هر لایه.
- استفاده از آموزش آگاهی از کوانتیزاسیون در پوشش مدل بیشتر به عنوان مثال باغ مدل تنسورفلو.
- بهبود کیفیت و عملکرد برای دامنه پویا پس از آموزش. کوانتیزاسیون
TensorFlow
- Quantization پس از آموزش (bf16 * int8 محدوده دینامیکی).
- آموزش کوانتیزاسیون آگاه ((bf16 * int8 فقط با کوانت جعلی).
- کوانتیزاسیون انتخابی پس از آموزش برای حذف لایه های خاصی از کوانتیزه کردن.
- رفع اشکال کوانتیزاسیون برای بررسی تلفات خطای کوانتیزاسیون در هر لایه.
پراکندگی
TensorFlow Lite
- پشتیبانی از اجرای مدل پراکنده برای مدل های بیشتر.
- نویسندگی آگاه را برای Sparity هدف قرار دهید.
- مجموعه عملیات پراکنده را با کرنل‌های x86 اجرا کنید.
TensorFlow
- پشتیبانی Sparity در TensorFlow.
تکنیک های فشرده سازی آبشاری
- کوانتیزاسیون + فشرده سازی تانسور + پراکندگی: هر 3 تکنیک را نشان دهید که با هم کار می کنند.
فشرده سازی
- API فشرده‌سازی تانسور برای کمک به توسعه‌دهندگان الگوریتم فشرده‌سازی، الگوریتم فشرده‌سازی مدل خود را پیاده‌سازی می‌کند (مثلاً خوشه‌بندی وزن) از جمله ارائه یک روش استاندارد برای آزمایش/معیار.