این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

وزن ناچیز اصلاح

که توسط TensorFlow مدل بهینه سازی

این سند یک مرور کلی بر روی مدل هرس برای کمک به شما تعیین کنید که چگونه آن را با مورد استفاده خود را متناسب با فراهم می کند.

  • به راست فرو رفتن به یک مثال پایان به پایان، دیدن هرس با Keras به عنوان مثال.
  • به سرعت پیدا کردن رابط های برنامه کاربردی شما برای مورد استفاده شما نیاز دارید، دیدن راهنمای جامع هرس .

بررسی اجمالی

وزن مبتنی بر قدر هرس به تدریج صفر خارج وزن مدل در طول فرایند آموزش برای رسیدن به sparsity مدل. مدل های پراکنده هستند راحت تر به فشرده سازی، و ما می توانیم در طول صفر استنتاج برای بهبود زمان تاخیر جست و خیز.

این روش به ارمغان می آورد بهبود از طریق فشرده سازی مدل. در آینده، پشتیبانی چارچوب این روش بهبود تاخیر فراهم می کند. ما به 6X بهبود در فشرده سازی مدل با کمترین افت دقت دیده ام تا.

این روش در برنامه های کاربردی سخنرانی های مختلف، مانند تشخیص گفتار و متن به گفتار مورد بررسی قرار، و در مدل های مختلف در سراسر چشم انداز و ترجمه آزمایش شده است.

API سازگاری ماتریس

کاربران می توانند اعمال هرس با API های زیر:

  • ساختمان مدل: tf.keras با ترتیبی و مدل های کاربردی
  • نسخه TensorFlow: نگارش 1.x TF برای نسخه های 1.14+ و 2.X.
    • tf.compat.v1 با یک بسته TF 2.x و tf.compat.v2 با یک بسته 1.X TF پشتیبانی نمی شوند.
  • حالت اعدام TensorFlow: هر دو نمودار و مشتاق
  • توزیع آموزش: tf.distribute تنها با اعدام نمودار

آن را بر روی نقشه راه ما است برای اضافه کردن پشتیبانی در زمینه های زیر:

نتایج

طبقه بندی تصویر

مدل غیر پراکنده بالا-1 دقت دقت پراکنده Sparsity
InceptionV3 78.1٪ 78.0٪ 50٪
76.1٪ 75٪
74.6٪ 87.5٪
MobilenetV1 224 71.04٪ 70.84٪ 50٪

مدل در Imagenet مورد آزمایش قرار گرفتند.

ترجمه

مدل غیر پراکنده BLEU پراکنده BLEU Sparsity
GNMT EN-DE 26.77 26.86 80٪
26.52 85٪
26.19 90٪
GNMT DE-EN 29.47 29.50 80٪
29.24 85٪
28.81 90٪

مدل استفاده WMT16 آلمانی و انگلیسی مجموعه داده با اخبار-test2013 به عنوان مجموعه ای dev و اخبار test2015 به عنوان مجموعه ای از آزمون.

مثال ها

علاوه بر این به آلو با Keras آموزش، نمونه های زیر را مشاهده کنید:

  • آموزش یک مدل سی ان ان در MNIST دست نوشته رقمی کار طبقه بندی با هرس: کد
  • آموزش LSTM در IMDB احساسات کار طبقه بندی با هرس: کد

برای پس زمینه، تا آلو، آلو یا نه به: بررسی اثر بخشی هرس برای فشرده سازی مدل [ مقاله ].