इस पेज का अनुवाद Cloud Translation API से किया गया है.
Switch to English

भार क्लस्टरिंग

शाखा एमएल टूलींग द्वारा बनाए रखा

इस दस्तावेज़ को मदद करने के लिए आप यह निर्धारित है कि यह कैसे आपके उपयोग के मामले के साथ फिट बैठता है वजन क्लस्टरिंग पर अवलोकन प्रदान करता है।

अवलोकन

क्लस्टरिंग, या वजन साझा करने, तैनाती के लिए लाभ के लिए अग्रणी, एक मॉडल में अनन्य वजन मानों की संख्या कम कर देता है। यह पहली बार समूहों एन समूहों में प्रत्येक परत का भार है, तो सब क्लस्टर से संबंधित वजन के लिए क्लस्टर के केन्द्रक मूल्य साझा करता है।

इस तकनीक को मॉडल संपीड़न के माध्यम से सुधार लाता है। भविष्य ढांचे समर्थन स्मृति पदचिह्न सुधार सीमित संसाधनों के साथ एम्बेडेड सिस्टम पर गहरी लर्निंग मॉडल की तैनाती के लिए एक महत्वपूर्ण फर्क कर सकते हैं अनलॉक कर सकते हैं।

हम दृष्टि और भाषण कार्यों भर क्लस्टरिंग साथ प्रयोग किया है। के रूप में द्वारा प्रदर्शन हम सटीकता के कम से कम नुकसान के साथ मॉडल संपीड़न में 5x सुधार करने के लिए देखा है, परिणाम नीचे प्रस्तुत किया।

कृपया ध्यान दें कि क्लस्टरिंग घुमाव और घने परतों कि एक बैच सामान्य परत है, साथ ही में प्रति अक्ष के बाद प्रशिक्षण परिमाणीकरण के साथ संयोजन पूर्व में होना के लिए कम लाभ प्रदान करेगा।

एपीआई संगतता मैट्रिक्स

उपयोगकर्ता निम्न API के साथ क्लस्टरिंग आवेदन कर सकते हैं:

  • मॉडल निर्माण: tf.keras केवल अनुक्रमिक और कार्यात्मक मॉडल के साथ
  • TensorFlow संस्करण: संस्करण के लिए TF 1.x 1.14+ और 2. x
    • tf.compat.v1 एक TF 2.X पैकेज और साथ tf.compat.v2 एक TF 1.x पैकेज के साथ समर्थित नहीं हैं।
  • TensorFlow निष्पादन मोड: दोनों ग्राफ और उत्सुक

परिणाम

छवि वर्गीकरण

नमूना मूल क्लस्टर किया गया
शीर्ष -1 सटीकता (%) संकुचित .tflite का आकार (MB) विन्यास समूहों की # शीर्ष -1 सटीकता (%) संकुचित .tflite का आकार (MB)
MobileNetV1 71.02 14.96
चयनात्मक (पिछले 3 Conv2D परतों) 256, 256, 32 70.62 8.42
पूर्ण (सभी Conv2D परतों) 64 66.07 2.98
MobileNetV2 72.29 12.90
चयनात्मक (पिछले 3 Conv2D परतों) 256, 256, 32 72.31 7.00
पूर्ण (सभी Conv2D परतों) 32 69.33 2.60

मॉडल प्रशिक्षित और ImageNet पर परीक्षण किया गया।

कीवर्ड खोलना

नमूना मूल क्लस्टर किया गया
शीर्ष -1 सटीकता (%) संकुचित .tflite का आकार (MB) विन्यास समूहों की # शीर्ष -1 सटीकता (%) संकुचित .tflite का आकार (MB)
डी एस सीएनएन-एल 95.03 1.5 पूर्ण 32 94.71 0.3

मॉडल प्रशिक्षित और SpeechCommands v0.02 पर परीक्षण किया गया।

  1. .h5 फ़ाइल में Keras मॉडल को क्रमानुसार
  2. का उपयोग कर .tflite में .h5 फ़ाइल कन्वर्ट TFLiteConverter.from_keras_model_file()
  3. एक ज़िप में .tflite फ़ाइल सेक

उदाहरण

के अलावा Keras उदाहरण में भार क्लस्टरिंग , निम्नलिखित उदाहरण देखें:

  • एक सीएनएन मॉडल MNIST हस्तलिखित अंकों वर्गीकरण डाटासेट पर प्रशिक्षित के वजन क्लस्टर: कोड

वजन क्लस्टरिंग कार्यान्वयन दीप संपीड़न पर आधारित है: Compressing दीप तंत्रिका छंटाई के साथ नेटवर्क, प्रशिक्षित परिमाणीकरण और Huffman कोडिंग कागज । अध्याय देखें 3, प्रशिक्षित परिमाणीकरण और वजन शेयरिंग शीर्षक से।