तंत्रिका संरचित शिक्षण ढांचा

न्यूरल स्ट्रक्चर्ड लर्निंग (NSL) फीचर इनपुट के साथ स्ट्रक्चर्ड सिग्नल (जब उपलब्ध हो) का लाभ उठाकर डीप न्यूरल नेटवर्क को प्रशिक्षित करने पर केंद्रित है। द्वारा शुरू की के रूप में Bui एट अल। (WSDM'18) , इन संरचित संकेतों एक तंत्रिका नेटवर्क के प्रशिक्षण को नियमित करने, जबकि एक ही समय इनपुट संरचनात्मक समानता बनाए रखने, सटीक अनुमान लगाने (निगरानी नुकसान को कम करके) जानने के लिए मॉडल के लिए मजबूर (पड़ोसी नुकसान को न्यूनतम करने के द्वारा किया जाता है , नीचे चित्र देखें)। यह तकनीक सामान्य है और इसे मनमाने तंत्रिका आर्किटेक्चर (जैसे फीड-फॉरवर्ड एनएन, कन्वेन्शनल एनएन और आवर्तक एनएन) पर लागू किया जा सकता है।

एनएसएल अवधारणा

ध्यान दें कि सामान्यीकृत पड़ोसी हानि समीकरण लचीला है और ऊपर वर्णित एक के अलावा अन्य रूप भी हो सकते हैं। उदाहरण के लिए, हम भी चुन सकते हैं

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

पड़ोसी नुकसान होने के लिए, जो जमीनी सच्चाई के बीच की दूरी की गणना करता है

$$y_i$$

और पड़ोसी से भविष्यवाणी

$$g_\theta(x_j)$$

. यह आमतौर पर विरोधात्मक सीखने में प्रयोग किया जाता है (गुडफेलो एट अल।, ICLR'15) । इसलिए, तंत्रिका ग्राफ़ लर्निंग के लिए NSL सामान्यीकरण करता पड़ोसियों स्पष्ट रूप से एक ग्राफ द्वारा विरोधात्मक लर्निंग के लिए प्रतिनिधित्व कर रहे हैं, और अगर पड़ोसियों परोक्ष विरोधात्मक गड़बड़ी से प्रेरित कर रहे हैं।

तंत्रिका संरचित सीखने के लिए समग्र कार्यप्रवाह नीचे दिखाया गया है। काले तीर पारंपरिक प्रशिक्षण वर्कफ़्लो का प्रतिनिधित्व करते हैं और लाल तीर संरचित संकेतों का लाभ उठाने के लिए एनएसएल द्वारा पेश किए गए नए वर्कफ़्लो का प्रतिनिधित्व करते हैं। सबसे पहले, संरचित संकेतों को शामिल करने के लिए प्रशिक्षण नमूनों को संवर्धित किया जाता है। जब संरचित संकेत स्पष्ट रूप से प्रदान नहीं किए जाते हैं, तो उन्हें या तो निर्मित या प्रेरित किया जा सकता है (बाद वाला प्रतिकूल सीखने पर लागू होता है)। अगला, संवर्धित प्रशिक्षण नमूने (मूल नमूने और उनके संबंधित पड़ोसियों सहित) को उनके एम्बेडिंग की गणना के लिए तंत्रिका नेटवर्क को खिलाया जाता है। एक नमूने के एम्बेडिंग और उसके पड़ोसी के एम्बेडिंग के बीच की दूरी की गणना की जाती है और पड़ोसी नुकसान के रूप में उपयोग किया जाता है, जिसे नियमितीकरण शब्द के रूप में माना जाता है और अंतिम नुकसान में जोड़ा जाता है। स्पष्ट पड़ोसी-आधारित नियमितीकरण के लिए, हम आम तौर पर पड़ोसी के नुकसान की गणना नमूने के एम्बेडिंग और पड़ोसी के एम्बेडिंग के बीच की दूरी के रूप में करते हैं। हालांकि, पड़ोसी नुकसान की गणना के लिए तंत्रिका नेटवर्क की किसी भी परत का उपयोग किया जा सकता है। दूसरी ओर, प्रेरित पड़ोसी-आधारित नियमितीकरण (प्रतिकूल) के लिए, हम पड़ोसी नुकसान की गणना प्रेरित प्रतिकूल पड़ोसी की आउटपुट भविष्यवाणी और जमीनी सच्चाई लेबल के बीच की दूरी के रूप में करते हैं।

एनएसएल कार्यप्रवाह

एनएसएल का उपयोग क्यों करें?

एनएसएल निम्नलिखित लाभ लाता है:

  • उच्चतर सटीकता: नमूने जानकारी है कि हमेशा सुविधा आदानों में उपलब्ध नहीं है प्रदान कर सकते हैं के बीच में संरचित संकेत (रों); इसलिए, संयुक्त प्रशिक्षण दृष्टिकोण (दोनों संरचित संकेतों और सुविधाओं के साथ) इस तरह के दस्तावेज़ वर्गीकरण और अर्थ इरादे वर्गीकरण के रूप में कार्य, (की एक विस्तृत श्रृंखला पर कई मौजूदा तरीकों (है कि केवल सुविधाओं के साथ प्रशिक्षण पर भरोसा करते हैं) को मात दिखाया गया है Bui एट अल ।, WSDM'18 और Kipf एट अल।, ICLR'17 )।
  • मजबूती: मॉडल विरोधात्मक उदाहरण के साथ प्रशिक्षित विरोधात्मक एक मॉडल की भविष्यवाणी या वर्गीकरण भ्रामक के लिए बनाया गया विचलन के खिलाफ मजबूत होना दिखाया गया है ( गुडफेलो एट अल, ICLR'15। और Miyato एट अल, ICLR'16। )। जब प्रशिक्षण नमूनों की संख्या छोटा है, विरोधात्मक उदाहरण के साथ प्रशिक्षण भी मॉडल सटीकता में सुधार में मदद करता है ( Tsipras एट अल।, ICLR'19 )।
  • कम लेबल डेटा की आवश्यकता: NSL दोनों लेबल और लेबल हटाया गया डेटा है, जो करने के लिए सीखने प्रतिमान फैली का दोहन करने के लिए सक्षम बनाता है तंत्रिका नेटवर्क अर्द्ध देखरेख सीखने । विशेष रूप से, एनएसएल नेटवर्क को पर्यवेक्षित सेटिंग में लेबल किए गए डेटा का उपयोग करके प्रशिक्षित करने की अनुमति देता है, और साथ ही नेटवर्क को "पड़ोसी नमूने" के लिए समान छिपे हुए प्रतिनिधित्व सीखने के लिए प्रेरित करता है जिसमें लेबल हो सकते हैं या नहीं। इस तकनीक को मॉडल सटीकता में सुधार जब लेबल डेटा की मात्रा अपेक्षाकृत छोटा है के लिए महान वादा दिखाया गया है ( Bui एट अल।, WSDM'18 और Miyato एट अल।, ICLR'16 )।

चरण-दर-चरण ट्यूटोरियल

तंत्रिका संरचित सीखने के साथ व्यावहारिक अनुभव प्राप्त करने के लिए, हमारे पास ऐसे ट्यूटोरियल हैं जो विभिन्न परिदृश्यों को कवर करते हैं जहां संरचित संकेत स्पष्ट रूप से दिए जा सकते हैं, निर्मित या प्रेरित हो सकते हैं। यहाँ कुछ है:

अधिक उदाहरण और ट्यूटोरियल में पाया जा सकता उदाहरण हमारे GitHub भंडार की निर्देशिका।