TensorFlow मॉडल ऑप्टिमाइज़ेशन टूलकिट मशीन सीखने के अनुमान के अनुकूलन की जटिलता को कम करता है।
विलंबता, स्मृति उपयोग, और कई मामलों में बिजली की खपत के कारण मशीन लर्निंग मॉडल को तैनात करते समय इंजेक्शन दक्षता एक महत्वपूर्ण चिंता का विषय है। विशेष रूप से एज डिवाइसेस, जैसे कि मोबाइल और इंटरनेट ऑफ थिंग्स (IoT), संसाधनों को और अधिक बाधित किया जाता है, और मॉडल आकार और कम्प्यूटेशन की दक्षता एक प्रमुख चिंता का विषय बन जाती है।
प्रशिक्षण के लिए कम्प्यूटेशनल मांग विभिन्न आर्किटेक्चर पर प्रशिक्षित मॉडल की संख्या के साथ बढ़ती है, जबकि अनुमान के लिए कम्प्यूटेशनल मांग उपयोगकर्ताओं की संख्या के अनुपात में बढ़ती है।
बक्सों का इस्तेमाल करें
अन्य चीजों के अलावा, मॉडल अनुकूलन उपयोगी है:
- क्लाउड और एज डिवाइस (जैसे मोबाइल, IoT) दोनों के लिए अनुमान के लिए विलंबता और लागत को कम करना।
- प्रसंस्करण, स्मृति और / या बिजली की खपत पर प्रतिबंध के साथ किनारे उपकरणों पर मॉडल तैनात करना।
- ओवर-द-एयर मॉडल अपडेट के लिए पेलोड का आकार कम करना।
- फिक्स्ड-पॉइंट ऑपरेशंस के लिए हार्डवेयर प्रतिबंधित-से या ऑप्टिमाइज़ करने पर इनेबल करना।
- विशेष प्रयोजन हार्डवेयर त्वरक के लिए मॉडल का अनुकूलन।
अनुकूलन तकनीक
मॉडल अनुकूलन का क्षेत्र विभिन्न तकनीकों को शामिल कर सकता है:
- छंटाई और संरचित छंटाई के साथ पैरामीटर गिनती कम करें।
- परिमाणीकरण के साथ प्रतिनिधित्व संबंधी सटीकता को कम करें।
- कम मापदंडों या तेजी से निष्पादन के साथ मूल मॉडल टोपोलॉजी को अधिक कुशल में अपडेट करें। उदाहरण के लिए, टेंसर अपघटन विधियों और आसवन
हमारे टूलकिट पोस्ट-प्रशिक्षण मात्रा का ठहराव , मात्रा - निर्धारण जागरूक प्रशिक्षण , छंटाई और क्लस्टरिंग का समर्थन करते हैं ।
परिमाणीकरण
परिमाणित मॉडल वे हैं जहां हम कम सटीकता के साथ मॉडल का प्रतिनिधित्व करते हैं, जैसे कि 8-बिट पूर्णांक 32-बिट फ्लोट के विपरीत। कम सटीकता कुछ हार्डवेयर का लाभ उठाने के लिए एक आवश्यकता है।
स्पार्सिटी और प्रूनिंग
विरल मॉडल वे होते हैं जहां ऑपरेटर (यानी न्यूरल नेटवर्क लेयर्स) के बीच कनेक्शन को प्रोन किया गया है, जो पैरामीटर टेंसर्स को शून्य का परिचय देता है।
क्लस्टरिंग
क्लस्टर किए गए मॉडल वे हैं जहां मूल मॉडल के मापदंडों को कम संख्या में अद्वितीय मानों के साथ बदल दिया जाता है।