महत्वहीन वज़न ट्रिम करें

यह दस्तावेज़ मॉडल प्रूनिंग पर एक सिंहावलोकन प्रदान करता है ताकि आपको यह निर्धारित करने में मदद मिल सके कि यह आपके उपयोग के मामले में कैसे फिट बैठता है।

अवलोकन

मॉडल विरलता प्राप्त करने के लिए प्रशिक्षण प्रक्रिया के दौरान परिमाण-आधारित वजन छंटाई धीरे-धीरे मॉडल भार को शून्य कर देती है। विरल मॉडल को संपीड़ित करना आसान होता है, और हम विलंबता सुधार के लिए अनुमान के दौरान शून्य को छोड़ सकते हैं।

यह तकनीक मॉडल संपीड़न के माध्यम से सुधार लाती है। भविष्य में, इस तकनीक के लिए ढांचा समर्थन विलंबता सुधार प्रदान करेगा। हमने सटीकता के न्यूनतम नुकसान के साथ मॉडल संपीड़न में 6x तक सुधार देखा है।

इस तकनीक का मूल्यांकन वाक् पहचान और टेक्स्ट-टू-स्पीच जैसे विभिन्न भाषण अनुप्रयोगों में किया जा रहा है, और विभिन्न दृष्टि और अनुवाद मॉडल पर प्रयोग किया गया है।

एपीआई संगतता मैट्रिक्स

उपयोगकर्ता निम्नलिखित एपीआई के साथ प्रूनिंग लागू कर सकते हैं:

  • मॉडल निर्माण: tf.keras केवल अनुक्रमिक और कार्यात्मक मॉडल के साथ
  • TensorFlow संस्करण: संस्करण 1.14+ और 2.x के लिए TF 1.x।
    • tf.compat.v1 TF 2.X पैकेज के साथ और tf.compat.v2 TF 1.X पैकेज के साथ समर्थित नहीं हैं।
  • TensorFlow निष्पादन मोड: दोनों ग्राफ़ और उत्सुक
  • वितरित प्रशिक्षण: tf.distribute .केवल ग्राफ़ निष्पादन के साथ वितरित करें

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

परिणाम

छवि वर्गीकरण

नमूना गैर-विरल शीर्ष -1 शुद्धता यादृच्छिक विरल सटीकता यादृच्छिक विरलता संरचित विरल सटीकता संरचित विरलता
इंसेप्शनV3 78.1% 78.0% 50% 75.8% 2 बटा 4
76.1% 75%
74.6% 87.5%
मोबाइलनेटV1 224 71.04% 70.84% 50% 67.35% 2 बटा 4
मोबाइलनेटV2 224 71.77% 69.64% 50% 66.75% 2 बटा 4

इमेजनेट पर मॉडल का परीक्षण किया गया।

अनुवाद

नमूना गैर विरल BLEU विरल BLEU विरलता
जीएनएमटी एन-डीई 26.77 26.86 80%
26.52 85%
26.19 90%
जीएनएमटी डीई-एन 29.47 29.50 80%
29.24 85%
28.81 90%

मॉडल WMT16 जर्मन और अंग्रेजी डेटासेट का उपयोग news-test2013 के साथ dev सेट और news-test2015 को टेस्ट सेट के रूप में करते हैं।

कीवर्ड स्पॉटिंग मॉडल

DS-CNN-L एक कीवर्ड स्पॉटिंग मॉडल है जो एज डिवाइस के लिए बनाया गया है। यह एआरएम सॉफ्टवेयर के उदाहरण भंडार में पाया जा सकता है।

नमूना गैर-विरल सटीकता संरचित विरल सटीकता (2 गुणा 4 पैटर्न) यादृच्छिक विरल सटीकता (लक्ष्य विरलता 50%)
डीएस-सीएनएन-एल 95.23 94.33 94.84

उदाहरण

केरस ट्यूटोरियल के साथ प्रून के अलावा, निम्नलिखित उदाहरण देखें:

  • CNN मॉडल को MNIST हस्तलिखित अंकों के वर्गीकरण कार्य पर प्रूनिंग के साथ प्रशिक्षित करें: कोड
  • प्रूनिंग के साथ IMDB भावना वर्गीकरण कार्य पर एक LSTM को प्रशिक्षित करें: कोड

पृष्ठभूमि के लिए, प्रून करना या न करना देखें: मॉडल कंप्रेशन के लिए प्रूनिंग की प्रभावकारिता की खोज [ कागज ]।