TensorFlow मॉडल ऑप्टिमाइज़ेशन टूलकिट मशीन सीखने के अनुमान के अनुकूलन की जटिलता को कम करता है।
अव्यवस्था, स्मृति उपयोग, और कई मामलों में बिजली की खपत के कारण मशीन लर्निंग मॉडल को तैनात करते समय इंजेक्शन दक्षता एक महत्वपूर्ण चिंता है। विशेष रूप से एज डिवाइसेस, जैसे कि मोबाइल और इंटरनेट ऑफ थिंग्स (IoT), संसाधनों को और अधिक बाधित किया जाता है, और मॉडल आकार और कम्प्यूटेशन की दक्षता एक प्रमुख चिंता का विषय बन जाती है।
प्रशिक्षण की कम्प्यूटेशनल मांग विभिन्न आर्किटेक्चर पर प्रशिक्षित मॉडल की संख्या के साथ बढ़ती है, जबकि अनुमान के लिए कम्प्यूटेशनल मांग उपयोगकर्ताओं की संख्या के अनुपात में बढ़ती है।
बक्सों का इस्तेमाल करें
अन्य चीजों के अलावा, मॉडल अनुकूलन उपयोगी है:
- क्लाउड और एज डिवाइस (जैसे मोबाइल, IoT) दोनों के लिए अनुमान के लिए विलंबता और लागत को कम करना।
- प्रसंस्करण, स्मृति और / या बिजली की खपत पर प्रतिबंध के साथ किनारे उपकरणों पर मॉडल तैनात करना।
- ओवर-द-एयर मॉडल अपडेट के लिए पेलोड का आकार कम करना।
- फिक्स्ड-पॉइंट ऑपरेशंस के लिए हार्डवेयर प्रतिबंधित-से या अनुकूलित के लिए निष्पादन को सक्षम करना।
- विशेष प्रयोजन हार्डवेयर त्वरक के लिए मॉडल का अनुकूलन।
अनुकूलन तकनीक
मॉडल अनुकूलन का क्षेत्र विभिन्न तकनीकों को शामिल कर सकता है:
- छंटाई और संरचित छंटाई के साथ पैरामीटर गिनती कम करें।
- परिमाणीकरण के साथ प्रतिनिधित्व संबंधी सटीकता को कम करें।
- मूल मॉडल टोपोलॉजी को कम मापदंडों या तेजी से निष्पादन के साथ अधिक कुशल एक में अपडेट करें। उदाहरण के लिए, दसियों अपघटन विधियों और आसवन
हमारा टूलकिट पोस्ट-प्रशिक्षण परिमाणीकरण , परिमाणीकरण जागरूक प्रशिक्षण , प्रूनिंग और क्लस्टरिंग का समर्थन करता है ।
परिमाणीकरण
परिमाणित मॉडल वे हैं जहां हम कम सटीकता के साथ मॉडल का प्रतिनिधित्व करते हैं, जैसे कि 8-बिट पूर्णांक 32-बिट फ्लोट के विपरीत। कम सटीकता कुछ हार्डवेयर का लाभ उठाने के लिए एक आवश्यकता है।
स्पार्सिटी और प्रूनिंग
विरल मॉडल वे होते हैं, जहां ऑपरेटर (यानी न्यूरल नेटवर्क लेयर) के बीच के कनेक्शनों को काट दिया गया है, जो पैरामीटर टेंसरों के लिए शून्य का परिचय देता है।
क्लस्टरिंग
क्लस्टर किए गए मॉडल वे हैं जहां मूल मॉडल के मापदंडों को कम संख्या में अद्वितीय मानों के साथ बदल दिया जाता है।