परिमाणीकरण जागरूक प्रशिक्षण

_{TensorFlow मॉडल ऑप्टिमाइज़ेशन द्वारा बनाए रखा गया}

क्वांटिज़ेशन के दो रूप हैं: पोस्ट-ट्रेनिंग क्वांटिज़ेशन और क्वांटिज़ेशन अवेयर ट्रेनिंग। पोस्ट-ट्रेनिंग क्वांटिज़ेशन से शुरू करें क्योंकि इसका उपयोग करना आसान है, हालांकि मॉडल सटीकता के लिए क्वांटिज़ेशन जागरूक प्रशिक्षण अक्सर बेहतर होता है।

यह पृष्ठ क्वांटिज़ेशन जागरूक प्रशिक्षण पर एक सिंहावलोकन प्रदान करता है ताकि आपको यह निर्धारित करने में सहायता मिल सके कि यह आपके उपयोग के मामले में कैसे फिट बैठता है।

• एंड-टू-एंड उदाहरण में सीधे गोता लगाने के लिए, परिमाणीकरण जागरूक प्रशिक्षण उदाहरण देखें।
• अपने उपयोग के मामले के लिए आवश्यक एपीआई को शीघ्रता से खोजने के लिए, परिमाणीकरण जागरूक प्रशिक्षण व्यापक मार्गदर्शिका देखें।

अवलोकन

क्वांटिज़ेशन जागरूक प्रशिक्षण अनुमान-समय मात्राकरण का अनुकरण करता है, एक मॉडल बनाता है जो डाउनस्ट्रीम टूल वास्तव में मात्रात्मक मॉडल बनाने के लिए उपयोग करेगा। परिमाणित मॉडल कम-सटीकता (जैसे 32-बिट फ्लोट के बजाय 8-बिट) का उपयोग करते हैं, जिससे तैनाती के दौरान लाभ होता है।

परिमाणीकरण के साथ परिनियोजित करें

परिमाणीकरण मॉडल संपीड़न और विलंबता में कमी के माध्यम से सुधार लाता है। एपीआई डिफ़ॉल्ट के साथ, मॉडल का आकार 4x तक सिकुड़ जाता है, और हम आम तौर पर परीक्षण किए गए बैकएंड में सीपीयू विलंबता में 1.5 - 4x सुधार के बीच देखते हैं। आखिरकार, एजटीपीयू और एनएनएपीआई जैसे संगत मशीन लर्निंग एक्सेलेरेटर पर विलंबता सुधार देखा जा सकता है।

तकनीक का उपयोग भाषण, दृष्टि, पाठ और अनुवाद उपयोग के मामलों में उत्पादन में किया जाता है। कोड वर्तमान में इन मॉडलों के सबसेट का समर्थन करता है।

परिमाणीकरण और संबद्ध हार्डवेयर के साथ प्रयोग

उपयोगकर्ता परिमाणीकरण मापदंडों (जैसे बिट्स की संख्या) और कुछ हद तक, अंतर्निहित एल्गोरिदम को कॉन्फ़िगर कर सकते हैं। ध्यान दें कि एपीआई डिफ़ॉल्ट से इन परिवर्तनों के साथ, वर्तमान में बैकएंड पर परिनियोजन के लिए कोई समर्थित पथ नहीं है। उदाहरण के लिए, TFLite रूपांतरण और कर्नेल कार्यान्वयन केवल 8-बिट परिमाणीकरण का समर्थन करते हैं।

इस कॉन्फ़िगरेशन के लिए विशिष्ट API प्रयोगात्मक हैं और पश्चगामी संगतता के अधीन नहीं हैं।

एपीआई संगतता

उपयोगकर्ता निम्नलिखित एपीआई के साथ परिमाणीकरण लागू कर सकते हैं:

• मॉडल बिल्डिंग: tf.keras केवल अनुक्रमिक और कार्यात्मक मॉडल के साथ।
• TensorFlow संस्करण: TF-रात के लिए TF 2.x।
  • tf.compat.v1 TF 2.X पैकेज के साथ समर्थित नहीं है।
• TensorFlow निष्पादन मोड: उत्सुक निष्पादन

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

• मॉडल निर्माण: स्पष्ट करें कि कैसे उपवर्ग मॉडल बिना किसी समर्थन के सीमित हैं
• वितरित प्रशिक्षण: tf.distribute .वितरित

सामान्य समर्थन मैट्रिक्स

निम्नलिखित क्षेत्रों में सहायता उपलब्ध है:

• मॉडल कवरेज: अनुमत सूचीबद्ध परतों का उपयोग करने वाले मॉडल , बैच सामान्यीकरण जब यह Conv2D और DepthwiseConv2D परतों का अनुसरण करता है, और सीमित मामलों में, Concat ।
• हार्डवेयर त्वरण: हमारे एपीआई डिफ़ॉल्ट एजटीपीयू, एनएनएपीआई, और टीएफलाइट बैकएंड पर त्वरण के साथ संगत हैं। रोडमैप में चेतावनी देखें।
• परिमाणीकरण के साथ परिनियोजन: केवल प्रति-अक्ष परिमाणीकरण, संकेंद्रित परतों के लिए, प्रति-टेंसर परिमाणीकरण नहीं, वर्तमान में समर्थित है।

निम्नलिखित क्षेत्रों में समर्थन जोड़ना हमारे रोडमैप पर है:

• मॉडल कवरेज: आरएनएन/एलएसटीएम और सामान्य कॉनकैट समर्थन को शामिल करने के लिए विस्तारित।
• हार्डवेयर त्वरण: सुनिश्चित करें कि टीएफलाइट कनवर्टर पूर्ण-पूर्णांक मॉडल का उत्पादन कर सकता है। विवरण के लिए यह समस्या देखें।
• परिमाणीकरण उपयोग के मामलों के साथ प्रयोग:
  • क्वांटिज़ेशन एल्गोरिदम के साथ प्रयोग जो केरस परतों को फैलाते हैं या प्रशिक्षण चरण की आवश्यकता होती है।
  • एपीआई को स्थिर करें।

परिणाम

उपकरण के साथ छवि वर्गीकरण

मॉडल का परीक्षण इमेजनेट पर किया गया और TensorFlow और TFLite दोनों में मूल्यांकन किया गया।

तकनीक के लिए छवि वर्गीकरण

मॉडल का परीक्षण इमेजनेट पर किया गया और TensorFlow और TFLite दोनों में मूल्यांकन किया गया।

उदाहरण

परिमाणीकरण जागरूक प्रशिक्षण उदाहरण के अलावा, निम्नलिखित उदाहरण देखें:

• परिमाणीकरण के साथ MNIST हस्तलिखित अंक वर्गीकरण कार्य पर CNN मॉडल: कोड

कुछ इसी तरह की पृष्ठभूमि के लिए, कुशल पूर्णांक-अंकगणित-केवल अनुमान पत्र के लिए तंत्रिका नेटवर्क का परिमाणीकरण और प्रशिक्षण देखें। यह पेपर कुछ अवधारणाओं का परिचय देता है जो यह उपकरण उपयोग करता है। कार्यान्वयन बिल्कुल समान नहीं है, और इस उपकरण में उपयोग की जाने वाली अतिरिक्त अवधारणाएं हैं (उदाहरण के लिए प्रति-अक्ष परिमाणीकरण)।