کمک به حفاظت از دیواره بزرگ مرجانی با TensorFlow در Kaggle اضافه کردن چالش

وزنه های ناچیز را کوتاه کنید

توسط بهینه سازی مدل TensorFlow نگهداری می شود

این سند به شما کمک می کند تا چگونگی تناسب آن با مورد استفاده خود را بررسی کنید.

بررسی اجمالی

هرس وزنی مبتنی بر اندازه برای رسیدن به پراکندگی مدل ، به تدریج وزن مدل ها را کاهش می دهد. فشرده سازی مدل های پراکنده آسان تر است ، و ما می توانیم از صفرها در هنگام استنباط برای بهبود تأخیر صرف نظر کنیم.

این تکنیک از طریق فشرده سازی مدل پیشرفت هایی را به همراه دارد. در آینده ، پشتیبانی از چارچوب این روش ، بهبود تأخیر را فراهم می کند. ما شاهد بهبود حداکثر 6 برابر در فشرده سازی مدل با کمترین میزان از دست دادن دقت هستیم.

این تکنیک در برنامه های مختلف گفتاری مانند تشخیص گفتار و تبدیل متن به گفتار مورد ارزیابی قرار می گیرد و در بین مدل های مختلف بینایی و ترجمه آزمایش شده است.

ماتریس سازگاری API

کاربران می توانند با API های زیر هرس را انجام دهند:

  • ساختمان مدل: tf.keras فقط با مدل های tf.keras و عملکردی
  • نسخه های TensorFlow: TF 1.x برای نسخه های 1.14+ و 2.x.
    • tf.compat.v1 با بسته TF 2.X و tf.compat.v2 با بسته TF 1.X پشتیبانی نمی شوند.
  • حالت اجرای TensorFlow: هم نمودار و هم مشتاق
  • توزیع آموزش: tf.distribute تنها با اعدام نمودار

در نقشه راه ماست که در مناطق زیر پشتیبانی را اضافه کنیم:

نتایج

طبقه بندی تصویر

مدل دقت بالا-1 پراکنده دقت پراکنده پراکنده بودن
InceptionV3 78.1٪ 78.0٪ 50٪
76.1٪ 75٪
74.6٪ 87.5٪
MobilenetV1 224 71.04٪ 70.84٪ 50٪

مدل ها در Imagenet مورد آزمایش قرار گرفتند.

ترجمه

مدل BLEU غیر پراکنده پراکنده BLEU پراکنده بودن
GNMT EN-DE 26.77 26.86 80٪
26.52 85٪
26.19 90٪
GNMT DE-EN 29.47 29.50 80٪
29.24 85٪
28.81 90٪

مدل ها از مجموعه داده های آلمانی و انگلیسی WMT16 به همراه news-test2013 به عنوان مجموعه توسعه و news-test2015 به عنوان مجموعه آزمون استفاده می کنند.

مثال ها

علاوه بر آموزش Prune with Keras ، به مثال های زیر مراجعه کنید:

  • یک مدل CNN را در مورد کار طبقه بندی رقمی دست نوشته MNIST با هرس: کد آموزش دهید
  • آموزش LSTM در مورد طبقه بندی احساسات IMDB با هرس: کد

برای پس زمینه ، به هرس ، یا هرس نکردن مراجعه کنید: کاوش در اثر هرس برای فشرده سازی مدل [ مقاله ].