TensorFlow मॉडल ऑप्टिमाइज़ेशन टूलकिट मशीन सीखने के अनुमान को अनुकूलित करने की जटिलता को कम करता है।
विलंबता, स्मृति उपयोग और कई मामलों में बिजली की खपत के कारण मशीन लर्निंग मॉडल को तैनात करते समय अनुमान दक्षता एक महत्वपूर्ण चिंता का विषय है। विशेष रूप से मोबाइल और इंटरनेट ऑफ थिंग्स (IoT) जैसे किनारे के उपकरणों पर, संसाधन और अधिक बाधित होते हैं, और मॉडल का आकार और गणना की दक्षता एक प्रमुख चिंता का विषय बन जाती है।
प्रशिक्षण के लिए कम्प्यूटेशनल मांग विभिन्न आर्किटेक्चर पर प्रशिक्षित मॉडलों की संख्या के साथ बढ़ती है, जबकि अनुमान के लिए कम्प्यूटेशनल मांग उपयोगकर्ताओं की संख्या के अनुपात में बढ़ती है।
बक्सों का इस्तेमाल करें
अन्य बातों के अलावा, मॉडल अनुकूलन उपयोगी है:
- क्लाउड और एज डिवाइस (जैसे मोबाइल, IoT) दोनों के लिए अनुमान के लिए विलंबता और लागत को कम करना।
- प्रसंस्करण, स्मृति और/या बिजली की खपत पर प्रतिबंध के साथ किनारे के उपकरणों पर मॉडल तैनात करना।
- ओवर-द-एयर मॉडल अपडेट के लिए पेलोड का आकार कम करना।
- फिक्स्ड-पॉइंट ऑपरेशंस के लिए प्रतिबंधित-से या अनुकूलित-हार्डवेयर पर निष्पादन को सक्षम करना।
- विशेष प्रयोजन हार्डवेयर त्वरक के लिए मॉडल का अनुकूलन।
अनुकूलन तकनीक
मॉडल अनुकूलन के क्षेत्र में विभिन्न तकनीकें शामिल हो सकती हैं:
- छंटाई और संरचित छंटाई के साथ पैरामीटर गिनती कम करें।
- परिमाणीकरण के साथ प्रतिनिधित्वात्मक सटीकता को कम करें।
- कम पैरामीटर या तेज़ निष्पादन के साथ मूल मॉडल टोपोलॉजी को अधिक कुशल में अपडेट करें। उदाहरण के लिए, टेंसर अपघटन के तरीके और आसवन
हमारा टूलकिट पोस्ट-ट्रेनिंग क्वांटिज़ेशन , क्वांटिज़ेशन अवेयर ट्रेनिंग , प्रूनिंग और क्लस्टरिंग का समर्थन करता है । टूलकिट विभिन्न तकनीकों को संयोजित करने के लिए सहयोगी अनुकूलन के लिए प्रयोगात्मक सहायता भी प्रदान करता है।
परिमाणीकरण
परिमाणित मॉडल वे हैं जहां हम कम परिशुद्धता वाले मॉडल का प्रतिनिधित्व करते हैं, जैसे कि 32-बिट फ्लोट के विपरीत 8-बिट पूर्णांक। कुछ हार्डवेयर का लाभ उठाने के लिए कम सटीकता की आवश्यकता होती है।
विरलता और छंटाई
विरल मॉडल वे हैं जहां ऑपरेटरों (अर्थात तंत्रिका नेटवर्क परतों) के बीच के कनेक्शन को काट दिया गया है, जो पैरामीटर टेंसर में शून्य का परिचय देता है।
क्लस्टरिंग
क्लस्टर किए गए मॉडल वे होते हैं जहां मूल मॉडल के मापदंडों को कम संख्या में अद्वितीय मानों से बदल दिया जाता है।
सहयोगात्मक अनुकूलन
टूलकिट सहयोगी अनुकूलन के लिए प्रयोगात्मक सहायता प्रदान करता है। यह आपको कई मॉडल संपीड़न तकनीकों के संयोजन से लाभ उठाने में सक्षम बनाता है और साथ ही साथ परिमाणीकरण जागरूक प्रशिक्षण के माध्यम से बेहतर सटीकता प्राप्त करता है।