तंत्रिका संरचित शिक्षण ढांचा

न्यूरल स्ट्रक्चर्ड लर्निंग (NSL) फीचर इनपुट के साथ स्ट्रक्चर्ड सिग्नल (जब उपलब्ध हो) का लाभ उठाकर डीप न्यूरल नेटवर्क को प्रशिक्षित करने पर केंद्रित है। जैसा कि बुई एट अल द्वारा पेश किया गया था। (WSDM'18) , इन संरचित संकेतों का उपयोग तंत्रिका नेटवर्क के प्रशिक्षण को नियमित करने के लिए किया जाता है, जिससे मॉडल को सटीक भविष्यवाणियां सीखने के लिए मजबूर किया जाता है (पर्यवेक्षित नुकसान को कम करके), जबकि एक ही समय में इनपुट संरचनात्मक समानता बनाए रखना (पड़ोसी नुकसान को कम करके) , नीचे चित्र देखें)। यह तकनीक सामान्य है और इसे मनमाने तंत्रिका आर्किटेक्चर (जैसे फीड-फॉरवर्ड एनएन, कन्वेन्शनल एनएन और आवर्तक एनएन) पर लागू किया जा सकता है।

एनएसएल अवधारणा

ध्यान दें कि सामान्यीकृत पड़ोसी हानि समीकरण लचीला है और ऊपर वर्णित एक के अलावा अन्य रूप भी हो सकते हैं। उदाहरण के लिए, हम पड़ोसी नुकसान होने के लिए\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) का चयन भी कर सकते हैं, जो जमीनी सच्चाई \(y_i\)और पड़ोसी \(g_\theta(x_j)\)की भविष्यवाणी के बीच की दूरी की गणना करता है। यह आमतौर पर प्रतिकूल शिक्षा (गुडफेलो एट अल।, ICLR'15) में उपयोग किया जाता है। इसलिए, यदि पड़ोसियों को स्पष्ट रूप से एक ग्राफ़ द्वारा दर्शाया जाता है, तो NSL न्यूरल ग्राफ़ लर्निंग को सामान्य करता है, और यदि पड़ोसियों को प्रतिकूल रूप से प्रतिकूलता से प्रेरित किया जाता है, तो एडवरसैरियल लर्निंग

तंत्रिका संरचित सीखने के लिए समग्र कार्यप्रवाह नीचे दिखाया गया है। काले तीर पारंपरिक प्रशिक्षण वर्कफ़्लो का प्रतिनिधित्व करते हैं और लाल तीर संरचित संकेतों का लाभ उठाने के लिए एनएसएल द्वारा पेश किए गए नए वर्कफ़्लो का प्रतिनिधित्व करते हैं। सबसे पहले, संरचित संकेतों को शामिल करने के लिए प्रशिक्षण नमूनों को संवर्धित किया जाता है। जब संरचित संकेत स्पष्ट रूप से प्रदान नहीं किए जाते हैं, तो उन्हें या तो निर्मित या प्रेरित किया जा सकता है (बाद वाला प्रतिकूल सीखने पर लागू होता है)। अगला, संवर्धित प्रशिक्षण नमूने (मूल नमूने और उनके संबंधित पड़ोसियों सहित) को उनके एम्बेडिंग की गणना के लिए तंत्रिका नेटवर्क को खिलाया जाता है। एक नमूने के एम्बेडिंग और उसके पड़ोसी के एम्बेडिंग के बीच की दूरी की गणना की जाती है और पड़ोसी नुकसान के रूप में उपयोग किया जाता है, जिसे नियमितीकरण शब्द के रूप में माना जाता है और अंतिम नुकसान में जोड़ा जाता है। स्पष्ट पड़ोसी-आधारित नियमितीकरण के लिए, हम आम तौर पर पड़ोसी के नुकसान की गणना नमूने के एम्बेडिंग और पड़ोसी के एम्बेडिंग के बीच की दूरी के रूप में करते हैं। हालांकि, पड़ोसी नुकसान की गणना के लिए तंत्रिका नेटवर्क की किसी भी परत का उपयोग किया जा सकता है। दूसरी ओर, प्रेरित पड़ोसी-आधारित नियमितीकरण (प्रतिकूल) के लिए, हम पड़ोसी नुकसान की गणना प्रेरित प्रतिकूल पड़ोसी की आउटपुट भविष्यवाणी और जमीनी सच्चाई लेबल के बीच की दूरी के रूप में करते हैं।

एनएसएल कार्यप्रवाह

एनएसएल का उपयोग क्यों करें?

एनएसएल निम्नलिखित लाभ लाता है:

  • उच्च सटीकता : नमूनों के बीच संरचित संकेत ऐसी जानकारी प्रदान कर सकते हैं जो फीचर इनपुट में हमेशा उपलब्ध नहीं होती हैं; इसलिए, संयुक्त प्रशिक्षण दृष्टिकोण (संरचित संकेतों और सुविधाओं दोनों के साथ) को कई मौजूदा तरीकों (जो केवल सुविधाओं के साथ प्रशिक्षण पर निर्भर करता है) को कई तरह के कार्यों, जैसे दस्तावेज़ वर्गीकरण और सिमेंटिक इंटेंट वर्गीकरण ( बुई एट अल ) से बेहतर प्रदर्शन करने के लिए दिखाया गया है। ., WSDM'18 और Kipf एट अल।, ICLR'17 )।
  • मजबूती : प्रतिकूल उदाहरणों के साथ प्रशिक्षित मॉडल को मॉडल की भविष्यवाणी या वर्गीकरण को गुमराह करने के लिए डिज़ाइन किए गए प्रतिकूल परेशानियों के खिलाफ मजबूत दिखाया गया है ( गुडफेलो एट अल।, आईसीएलआर'15 और मियातो एट अल।, आईसीएलआर'16 )। जब प्रशिक्षण नमूनों की संख्या कम होती है, तो प्रतिकूल उदाहरणों के साथ प्रशिक्षण भी मॉडल सटीकता में सुधार करने में मदद करता है ( त्सिप्रास एट अल।, ICLR'19 )।
  • कम लेबल वाले डेटा की आवश्यकता : एनएसएल तंत्रिका नेटवर्क को लेबल किए गए और बिना लेबल वाले दोनों डेटा का उपयोग करने में सक्षम बनाता है, जो सीखने के प्रतिमान को अर्ध-पर्यवेक्षित शिक्षण तक बढ़ाता है। विशेष रूप से, एनएसएल नेटवर्क को पर्यवेक्षित सेटिंग में लेबल किए गए डेटा का उपयोग करके प्रशिक्षित करने की अनुमति देता है, और साथ ही नेटवर्क को "पड़ोसी नमूने" के लिए समान छिपे हुए प्रतिनिधित्व सीखने के लिए प्रेरित करता है जिसमें लेबल हो सकते हैं या नहीं। लेबल किए गए डेटा की मात्रा अपेक्षाकृत कम होने पर इस तकनीक ने मॉडल सटीकता में सुधार के लिए बहुत अच्छा वादा दिखाया है ( बुई एट अल।, डब्ल्यूएसडीएम'18 और मियातो एट अल।, आईसीएलआर'16 )।

चरण-दर-चरण ट्यूटोरियल

तंत्रिका संरचित सीखने के साथ व्यावहारिक अनुभव प्राप्त करने के लिए, हमारे पास ऐसे ट्यूटोरियल हैं जो विभिन्न परिदृश्यों को कवर करते हैं जहां संरचित संकेत स्पष्ट रूप से दिए जा सकते हैं, निर्मित या प्रेरित हो सकते हैं। यहाँ कुछ है:

अधिक उदाहरण और ट्यूटोरियल हमारे GitHub रिपॉजिटरी की उदाहरण निर्देशिका में पाए जा सकते हैं।