তুচ্ছ ওজন ছাঁটা

এই নথিটি মডেল ছাঁটাই সম্পর্কে একটি ওভারভিউ প্রদান করে যাতে এটি আপনার ব্যবহারের ক্ষেত্রে কীভাবে ফিট করে তা নির্ধারণ করতে আপনাকে সহায়তা করে।

ওভারভিউ

মডেল স্প্যার্সিটি অর্জনের জন্য প্রশিক্ষণ প্রক্রিয়া চলাকালীন মাত্রা-ভিত্তিক ওজন ছাঁটাই ধীরে ধীরে মডেলের ওজনকে শূন্য করে। স্পার্স মডেলগুলি সংকুচিত করা সহজ, এবং আমরা লেটেন্সি উন্নতির জন্য অনুমানের সময় শূন্যগুলি এড়িয়ে যেতে পারি।

এই কৌশলটি মডেল কম্প্রেশনের মাধ্যমে উন্নতি নিয়ে আসে। ভবিষ্যতে, এই কৌশলটির জন্য ফ্রেমওয়ার্ক সমর্থন লেটেন্সি উন্নতি প্রদান করবে। আমরা নির্ভুলতার ন্যূনতম ক্ষতি সহ মডেল কম্প্রেশনে 6x পর্যন্ত উন্নতি দেখেছি।

কৌশলটি বিভিন্ন স্পিচ অ্যাপ্লিকেশানগুলিতে মূল্যায়ন করা হচ্ছে, যেমন স্পিচ রিকগনিশন এবং টেক্সট-টু-স্পীচ, এবং বিভিন্ন দৃষ্টি ও অনুবাদ মডেল জুড়ে পরীক্ষা করা হয়েছে।

API সামঞ্জস্যতা ম্যাট্রিক্স

ব্যবহারকারীরা নিম্নলিখিত API গুলি দিয়ে ছাঁটাই প্রয়োগ করতে পারেন:

  • মডেল বিল্ডিং: শুধুমাত্র অনুক্রমিক এবং কার্যকরী মডেল সহ keras
  • TensorFlow সংস্করণ: TF 1.x সংস্করণ 1.14+ এবং 2.x এর জন্য।
    • একটি TF 2.X প্যাকেজের সাথে tf.compat.v1 এবং একটি TF 1.X প্যাকেজের সাথে tf.compat.v2 সমর্থিত নয়।
  • টেনসরফ্লো এক্সিকিউশন মোড: গ্রাফ এবং আগ্রহী উভয়ই
  • বিতরণ করা প্রশিক্ষণ: tf.distribute শুধুমাত্র গ্রাফ এক্সিকিউশন সহ

নিম্নলিখিত ক্ষেত্রে সমর্থন যোগ করার জন্য এটি আমাদের রোডম্যাপে রয়েছে:

ফলাফল

ছবির শ্রেণীবিভাগ

মডেল নন-স্পার্স টপ-১ নির্ভুলতা র্যান্ডম স্পারস নির্ভুলতা র্যান্ডম স্পারসিটি স্ট্রাকচার্ড স্পারস নির্ভুলতা স্ট্রাকচার্ড স্পারসিটি
ইনসেপশনV3 78.1% 78.0% ৫০% 75.8% 2 দ্বারা 4
76.1% 75%
74.6% 87.5%
মোবাইলনেটভি1 224 71.04% 70.84% ৫০% 67.35% 2 দ্বারা 4
MobilenetV2 224 71.77% 69.64% ৫০% 66.75% 2 দ্বারা 4

মডেলগুলি ইমেজেনেটে পরীক্ষা করা হয়েছিল।

অনুবাদ

মডেল অ-স্পার্স BLEU স্পার্স BLEU স্পারসিটি
GNMT EN-DE 26.77 26.86 80%
26.52 ৮৫%
26.19 90%
GNMT DE-EN ২৯.৪৭ 29.50 80%
29.24 ৮৫%
28.81 90%

মডেলগুলি ডেভ সেট হিসাবে news-test2013 সহ WMT16 জার্মান এবং ইংরেজি ডেটাসেট এবং টেস্ট সেট হিসাবে news-test2015 ব্যবহার করে৷

কীওয়ার্ড স্পটিং মডেল

DS-CNN-L হল একটি কীওয়ার্ড স্পটিং মডেল যা এজ ডিভাইসের জন্য তৈরি করা হয়েছে। এটি ARM সফ্টওয়্যারের উদাহরণ সংগ্রহস্থলে পাওয়া যাবে।

মডেল অ-স্পার্স নির্ভুলতা স্ট্রাকচার্ড স্পারস অ্যাকুরেসি (2 বাই 4 প্যাটার্ন) র্যান্ডম স্পারস অ্যাকুরেসি (লক্ষ্য স্পার্সিটি 50%)
ডিএস-সিএনএন-এল 95.23 94.33 ৯৪.৮৪

উদাহরণ

কেরাস টিউটোরিয়ালের সাথে ছাঁটাই ছাড়াও, নিম্নলিখিত উদাহরণগুলি দেখুন:

  • ছাঁটাই: কোড সহ MNIST হাতে লেখা ডিজিট শ্রেণীবিভাগের টাস্কে একটি CNN মডেলকে প্রশিক্ষণ দিন
  • ছাঁটাই: কোড সহ IMDB সেন্টিমেন্ট ক্লাসিফিকেশন টাস্কে একটি LSTM প্রশিক্ষণ দিন

পটভূমির জন্য, ছাঁটাই করা বা ছাঁটাই না করা দেখুন: মডেল কম্প্রেশনের জন্য ছাঁটাইয়ের কার্যকারিতা অন্বেষণ করা [ কাগজ ]।