این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

خوشه بندی وزن

که توسط بازوی ML مهرو

این سند یک مرور کلی بر روی خوشه وزن به شما کمک کند تعیین کنید که چگونه آن را با مورد استفاده خود را متناسب با فراهم می کند.

بررسی اجمالی

خوشه بندی، به اشتراک گذاری و یا وزن، کاهش می دهد تعدادی از مقادیر وزن منحصر به فرد در یک مدل، منجر به مزایای برای استقرار. این گروه برای اولین بار وزن هر لایه را به خوشه پس از آن سهام ارزش مرکز خوشه برای تمام وزن متعلق به خوشه.

این روش به ارمغان می آورد بهبود از طریق فشرده سازی مدل. آینده پشتیبانی چارچوب می تواند بهبود حافظه است که می تواند یک تفاوت اساسی برای استقرار مدل های یادگیری عمیق در سیستم های جاسازی شده با منابع محدود را باز کنید.

ما با خوشه در سراسر چشم انداز و سخنرانی وظایف را تجربه کرد. ما به 5x به بهبود در فشرده سازی مدل با کمترین افت دقت دیده ام، به عنوان توسط نشان نتایج ارائه شده در زیر.

لطفا توجه داشته باشید که خوشه کاهش می یابد مزایای برای لایه پیچیدگی و متراکم است که قبل از یک لایه دسته ای عادی، و همچنین در ترکیب با در محور تدریج پس از آموزش فراهم کند.

ماتریس سازگاری با API

کاربران می توانند خوشه با API های زیر اعمال می شود:

  • ساختمان مدل: tf.keras با ترتیبی و مدل های کاربردی
  • نسخه TensorFlow: نگارش 1.x TF برای نسخه های 1.14+ و 2.X.
    • tf.compat.v1 با یک بسته TF 2.x و tf.compat.v2 با یک بسته 1.X TF پشتیبانی نمی شوند.
  • حالت اعدام TensorFlow: هر دو نمودار و مشتاق

نتایج

طبقه بندی تصویر

مدل اصلی خوشه ای
بالا-1 دقت (٪) اندازه .tflite فشرده (MB) پیکر بندی # خوشه بالا-1 دقت (٪) اندازه .tflite فشرده (MB)
MobileNetV1 71.02 14.96
انتخابی (آخرین 3 لایه Conv2D) 256، 256، 32 70.62 8.42
کامل (تمام لایه Conv2D) 64 66.07 2.98
MobileNetV2 72.29 12.90
انتخابی (آخرین 3 لایه Conv2D) 256، 256، 32 72.31 7.00
کامل (تمام لایه Conv2D) 32 69.33 2.60

مدل های آموزش دیده و تست شده بر روی ImageNet شد.

تشخیص کلیدواژه

مدل اصلی خوشه ای
بالا-1 دقت (٪) اندازه .tflite فشرده (MB) پیکر بندی # خوشه بالا-1 دقت (٪) اندازه .tflite فشرده (MB)
DS-سی ان ان-L 95.03 1.5 پر شده 32 94.71 0.3

مدل های آموزش دیده و تست شده بر روی v0.02 SpeechCommands شد.

  1. مرتب کردن مدل Keras به فایل .h5
  2. تبدیل فایل .h5 به .tflite با استفاده از TFLiteConverter.from_keras_model_file()
  3. فشرده سازی فایل .tflite به یک زیپ

مثال ها

علاوه بر خوشه بندی وزن در Keras عنوان مثال ، مثال های زیر را مشاهده کنید:

  • خوشه وزن یک مدل سی ان ان آموزش دیده در MNIST دست نوشته مجموعه داده های طبقه بندی رقمی: کد

اجرای خوشه وزن بر عمیق فشرده سازی بر اساس: فشردگی عمیق شبکه های عصبی با هرس، آموزش تعیین و هافمن مقاله . به فصل 3، با عنوان آموزش تعیین و به اشتراک گذاری وزن.