इस पेज का अनुवाद Cloud Translation API से किया गया है.
Switch to English

तंत्रिका संरचित लर्निंग फ्रेमवर्क

न्यूरल स्ट्रक्चर्ड लर्निंग (NSL) फीचर इनपुट्स के साथ स्ट्रक्चर्ड सिग्नल (जब उपलब्ध हो) का लाभ उठाकर डीप न्यूरल नेटवर्क को प्रशिक्षित करने पर ध्यान केंद्रित करता है। जैसा कि बुई एट अल द्वारा पेश किया गया था । (WSDM'18) , इन संरचित संकेतों का उपयोग तंत्रिका नेटवर्क के प्रशिक्षण को नियमित करने के लिए किया जाता है, मॉडल को सटीक भविष्यवाणियां सीखने के लिए मजबूर करता है (पर्यवेक्षित नुकसान को कम करके), जबकि एक ही समय में इनपुट संरचनात्मक समानता बनाए रखना (पड़ोसी नुकसान को कम करके) , नीचे आंकड़ा देखें)। यह तकनीक सामान्य है और इसे मनमाने ढंग से तंत्रिका आर्किटेक्चर (जैसे कि फीड-फॉरवर्ड एनएन, कन्वेंशनल एनएन और रिक्रूट एनएन) पर लागू किया जा सकता है।

NSL अवधारणा

ध्यान दें कि सामान्यीकृत पड़ोसी हानि समीकरण लचीला है और ऊपर सचित्र के अलावा अन्य रूप हो सकते हैं। उदाहरण के लिए, हम चयन भी कर सकते हैं

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

पड़ोसी का नुकसान होना, जो जमीनी सच्चाई के बीच की दूरी की गणना करता है

$$y_i$$

और पड़ोसी से भविष्यवाणी

$$g_\theta(x_j)$$

। यह आमतौर पर प्रतिकूल शिक्षा (गुडफेलो एट अल।, ICLR'15) में उपयोग किया जाता है। इसलिए, NSL तंत्रिका ग्राफ लर्निंग के लिए सामान्यीकृत करता है, यदि पड़ोसियों को एक ग्राफ द्वारा स्पष्ट रूप से दर्शाया जाता है, और एडवांसरियल लर्निंग को यदि पड़ोसियों को प्रतिकूल रूप से गड़बड़ी से प्रेरित किया जाता है।

न्यूरल स्ट्रक्चर्ड लर्निंग के लिए समग्र वर्कफ़्लो नीचे सचित्र है। काले तीर पारंपरिक प्रशिक्षण वर्कफ़्लो का प्रतिनिधित्व करते हैं और लाल तीर संरचित संकेतों का लाभ उठाने के लिए NSL द्वारा पेश किए गए नए वर्कफ़्लो का प्रतिनिधित्व करते हैं। सबसे पहले, संरचित संकेतों को शामिल करने के लिए प्रशिक्षण नमूनों को संवर्धित किया जाता है। जब संरचित संकेत स्पष्ट रूप से प्रदान नहीं किए जाते हैं, तो उन्हें या तो निर्माण किया जा सकता है या प्रेरित किया जा सकता है (बाद वाला प्रतिकूल शिक्षा पर लागू होता है)। अगला, संवर्धित प्रशिक्षण नमूने (दोनों मूल नमूने और उनके संबंधित पड़ोसियों सहित) तंत्रिका नेटवर्क को उनके एम्बेडिंग की गणना करने के लिए खिलाए जाते हैं। एक नमूना के एम्बेडिंग और उसके पड़ोसी के एम्बेडिंग के बीच की दूरी की गणना पड़ोसी नुकसान के रूप में की जाती है, जिसे नियमितीकरण शब्द के रूप में माना जाता है और अंतिम नुकसान में जोड़ा जाता है। स्पष्ट पड़ोसी-आधारित नियमितीकरण के लिए, हम आमतौर पर पड़ोसी के नुकसान की गणना नमूना के एम्बेडिंग और पड़ोसी के एम्बेडिंग के बीच की दूरी के रूप में करते हैं। हालांकि, पड़ोसी नुकसान की गणना करने के लिए तंत्रिका नेटवर्क की किसी भी परत का उपयोग किया जा सकता है। दूसरी ओर, प्रेरित पड़ोसी-आधारित नियमितीकरण (प्रतिकूल) के लिए, हम पड़ोसी नुकसान की गणना प्रेरित प्रतिकूल पड़ोसी के उत्पादन की भविष्यवाणी और जमीनी सच्चाई लेबल के बीच की दूरी के रूप में करते हैं।

NSL वर्कफ़्लो

NSL का उपयोग क्यों करें?

NSL निम्नलिखित लाभ लाता है:

  • उच्च सटीकता : नमूनों के बीच संरचित संकेत (एस) जानकारी प्रदान कर सकते हैं जो हमेशा फीचर इनपुट में उपलब्ध नहीं होते हैं; इसलिए, संयुक्त प्रशिक्षण दृष्टिकोण (दोनों संरचित संकेतों और सुविधाओं के साथ) को कई मौजूदा तरीकों (जो केवल सुविधाओं के साथ प्रशिक्षण पर भरोसा करते हैं), जैसे दस्तावेज़ वर्गीकरण और अर्थ इरादे वर्गीकरण ( बूई एट अल ) पर कई मौजूदा तरीकों को बेहतर बनाने के लिए दिखाया गया है। , WSDM'18 और किफ एट अल।, ICLR'17 )।
  • रोबस्टनेस : मॉडल के पूर्वानुमान या वर्गीकरण ( गुडफेलो एट अल।, ICLR'15 & Miyato et al।, ICLR'16 ) को गुमराह करने के लिए डिजाइन किए गए प्रतिकूल परिस्थितियों के खिलाफ मजबूत उदाहरण के साथ प्रशिक्षित मॉडल को मजबूत दिखाया गया है। जब प्रशिक्षण के नमूनों की संख्या कम होती है, तो प्रतिकूल उदाहरणों के साथ प्रशिक्षण भी मॉडल सटीकता में सुधार करने में मदद करता है ( Tsipras et al, ICLR'19 )।
  • आवश्यक लेबल किए गए डेटा की आवश्यकता : NSL तंत्रिका नेटवर्क को लेबल और लेबल किए गए डेटा दोनों का उपयोग करने में सक्षम बनाता है, जो सीखने के प्रतिमान को अर्ध-पर्यवेक्षित सीखने के लिए विस्तारित करता है। विशेष रूप से, NSL नेटवर्क को पर्यवेक्षित सेटिंग में लेबल किए गए डेटा का उपयोग करके प्रशिक्षित करने की अनुमति देता है, और उसी समय "पड़ोसी नमूनों" के लिए समान छिपे हुए अभ्यावेदन को सीखने के लिए नेटवर्क चलाता है, जिसमें लेबल हो सकते हैं या नहीं। इस तकनीक ने मॉडल सटीकता में सुधार के लिए शानदार वादा दिखाया है जब लेबल किए गए डेटा की मात्रा अपेक्षाकृत छोटी है ( बूई एट अल।, डब्ल्यूएसडीएम 18 और मियाटो एट अल।, आईसीएलआर 16 )।

चरण-दर-चरण ट्यूटोरियल

न्यूरल स्ट्रक्चर्ड लर्निंग के साथ हाथों पर अनुभव प्राप्त करने के लिए, हमारे पास तीन ट्यूटोरियल हैं जो विभिन्न परिदृश्यों को कवर करते हैं जहां संरचित संकेतों को स्पष्ट रूप से दिया जा सकता है, प्रेरित या निर्माण किया जा सकता है: