מסגרת הלמידה המובנית העצבית

למידה מובנית עצבית (NSL) מתמקדת באימון רשתות עצביות עמוקות על ידי מינוף אותות מובנים (כאשר קיימים) יחד עם תשומות תכונות. כפי שהוצג על ידי Bui et al. (WSDM'18) , האותות המובנים הללו משמשים להסדרת האימון של רשת עצבית, מה שמאלץ את המודל ללמוד חיזויים מדויקים (על ידי מזעור הפסד מפוקח), ובמקביל לשמור על דמיון מבני הקלט (על ידי מזעור אובדן השכן , ראה איור למטה). טכניקה זו היא כללית וניתנת ליישום על ארכיטקטורות עצביות שרירותיות (כגון NNs Feed-forward, NNs Convolutional ו- NNs חוזרות).

קונספט NSL

שים לב שמשוואת אובדן השכנות הכללית גמישה ויכולה להיות בצורות אחרות מלבד זו המוצגת לעיל. לדוגמא, אנו יכולים גם לבחור

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

להיות אובדן השכן, המחשב את המרחק בין האמת הקרקעית

$$y_i$$

והתחזית מהשכן

$$g_\theta(x_j)$$

. זה משמש בדרך כלל בלימוד יריב (Goodfellow et al., ICLR'15) . לכן, NSL מכליל ללימוד גרפים עצביים אם שכנים מיוצגים במפורש על ידי גרף, וללמידה יריבה אם שכנים נגרמים באופן מרומז על ידי הפרעה יריבה.

זרימת העבודה הכוללת עבור למידה מובנית עצבית תואר בהמשך. חיצים שחורים מייצגים את זרימת העבודה של האימונים המקובלים והחצים האדומים מייצגים את זרימת העבודה החדשה כפי שהוצגה על ידי NSL למינוף אותות מובנים. ראשית, דגימות האימונים מתוספות כך שיכללו אותות מובנים. כאשר אותות מובנים אינם ניתנים במפורש, ניתן לבנות אותם או לגרום להם (האחרון חל על למידה יריבה). לאחר מכן, דגימות האימון המוגברות (כולל הן הדגימות המקוריות והן שכנותיהן המקבילות) מוזנות לרשת העצבית לצורך חישוב הטביעה שלהן. המרחק בין הטמעת הדגימה להטמעת שכנו מחושב ומשמש כאובדן השכן, שמתייחסים אליו כאל מונח הסדרה ומתווסף לאובדן הסופי. לצורך רגולציה מבוססת שכנים מפורשת, אנו בדרך כלל מחשבים את אובדן השכן כמרחק בין הטמעת המדגם להטבעת השכן. עם זאת, ניתן להשתמש בכל שכבה ברשת העצבית לחישוב אובדן השכן. מצד שני, עבור רגולציה מבוססת על שכנים (יריבה), אנו מחשבים את אובדן השכן כמרחק בין חיזוי הפלט של השכן היריב המושרה לבין תווית האמת הקרקעית.

זרימת עבודה של NSL

מדוע להשתמש ב- NSL?

NSL מביא את היתרונות הבאים:

  • דיוק גבוה יותר : האות (ים) המובנים בין הדגימות יכולים לספק מידע שלא תמיד זמין בכניסות תכונות; לפיכך, גישת האימון המשותפת (עם אותות מובנים ותכונות מובנים) הוכחה כמביאה לשיטות קיימות רבות (המסתמכות על אימונים עם תכונות בלבד) במגוון רחב של משימות, כגון סיווג מסמכים וסיווג כוונות סמנטיות ( Bui et al. ., WSDM'18 & Kipf et al., ICLR'17 ).
  • אמינות : מודלים שהוכשרו עם דוגמאות יריבות הוכחו כחסינים כנגד הפרעות יריבות שנועדו להטעות את החיזוי או הסיווג של המודל ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). כאשר מספר דוגמאות האימון מועט, אימון בדוגמאות יריבות מסייע גם בשיפור דיוק המודל ( ציפראס ואח ', ICLR'19 ).
  • נדרשים נתונים עם פחות תוויות : NSL מאפשר לרשתות עצביות לרתום הן נתונים מתויגים והן ללא תווית, מה שמרחיב את פרדיגמת הלמידה גם למידה מפוקחת למחצה . באופן ספציפי, NSL מאפשרת לרשת להתאמן באמצעות נתונים שכותרתו כמו בהגדרה המפוקחת, ובמקביל מביאה את הרשת ללמוד ייצוגים נסתרים דומים ל"דוגמאות השכנות "שעשויות להיות בעלות תוויות. טכניקה זו הראתה הבטחה רבה לשיפור דיוק המודל כאשר כמות הנתונים המתויגים קטנה יחסית ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

הדרכות שלב אחר שלב

כדי להשיג ניסיון מעשי עם למידה מובנית עצבית, יש לנו שלוש מדריכות המכסות תרחישים שונים בהם ניתן לתת, לגרום או לבנות במפורש אותות מובנים: