לשמור את התאריך! קלט / פלט של Google חוזר 18-20 במאי הירשם עכשיו
דף זה תורגם על ידי Cloud Translation API.
Switch to English

מסגרת הלמידה המובנית העצבית

למידה מובנית עצבית (NSL) מתמקדת באימון רשתות עצביות עמוקות על ידי מינוף אותות מובנים (כאשר קיימים) יחד עם תשומות תכונה. כפי שהוצג על ידי Bui et al. (WSDM'18) , אותות מובנים אלה משמשים להסדרת האימון של רשת עצבית, מה שמאלץ את המודל ללמוד חיזויים מדויקים (על ידי מזעור הפסד מפוקח), ובמקביל לשמור על דמיון מבני הקלט (על ידי מזעור הפסד השכן , ראה איור למטה). טכניקה זו היא כללית וניתנת ליישום על ארכיטקטורות עצביות שרירותיות (כגון NNs Feed-forward, NNs Convolutional ו- NNs חוזרות).

קונספט NSL

שים לב שמשוואת אובדן השכן הכללית גמישה ויכולה להיות בצורות אחרות מלבד זו המוצגת לעיל. לדוגמא, אנו יכולים גם לבחור

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

להיות אובדן השכן, המחשב את המרחק בין האמת הקרקעית

$$y_i$$

והתחזית מהשכן

$$g_\theta(x_j)$$

. זה משמש בדרך כלל בלימוד יריב (Goodfellow et al., ICLR'15) . לכן, NSL מכליל ללימוד גרפים עצביים אם שכנים מיוצגים במפורש על ידי גרף, וללמידה יריבה אם שכנים נגרמים באופן מרומז על ידי הפרעה יריבה.

זרימת העבודה הכוללת למידה מובנית עצבית תואר בהמשך. חיצים שחורים מייצגים את זרימת העבודה של האימונים המקובלים והחצים האדומים מייצגים את זרימת העבודה החדשה כפי שהוצגה על ידי NSL למינוף אותות מובנים. ראשית, דגימות האימון מתוספות כך שיכללו אותות מובנים. כאשר האותות המובנים אינם מסופקים במפורש, ניתן לבנות אותם או לגרום להם (האחרון חל על למידה יריבה). לאחר מכן, דגימות האימון המוגברות (כולל הן הדגימות המקוריות והן שכנותיהן המקבילות) מוזנות לרשת העצבית לצורך חישוב ההטמעה שלהן. המרחק בין הטמעת הדגימה להטמעת שכנו מחושב ומשמש כאובדן השכן, שמתייחסים אליו כאל מונח הסדרה ומתווסף לאובדן הסופי. לצורך רגולציה מבוססת שכנים מפורשת, אנו בדרך כלל מחשבים את אובדן השכן כמרחק בין הטמעת המדגם להטבעת השכן. עם זאת, ניתן להשתמש בכל שכבה ברשת העצבית לחישוב אובדן השכן. מצד שני, עבור רגולציה מבוססת על שכנים המושרה (יריבה), אנו מחשבים את אובדן השכן כמרחק בין חיזוי הפלט של השכן היריב המושרה לבין תווית האמת הקרקעית.

זרימת עבודה של NSL

מדוע להשתמש ב- NSL?

NSL מביא את היתרונות הבאים:

  • דיוק גבוה יותר : האות / ים המובנים בין הדגימות יכולים לספק מידע שלא תמיד זמין בכניסות תכונות; לפיכך, גישת האימון המשותפת (עם אותות מובנים ותכונות כאחד) הוכחה כמביאה לשיטות קיימות רבות (המסתמכות על אימון עם תכונות בלבד) במגוון רחב של משימות, כגון סיווג מסמכים וסיווג כוונות סמנטיות ( Bui et al ., WSDM'18 & Kipf et al., ICLR'17 ).
  • אמינות : מודלים שהוכשרו עם דוגמאות יריבות הוכחו כחסינים כנגד הפרעות סותרות שנועדו להטעות את החיזוי או הסיווג של המודל ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). כאשר מספר דוגמאות האימון קטן, אימון בדוגמאות יריבות מסייע גם בשיפור דיוק המודל ( ציפראס ואח ', ICLR'19 ).
  • נדרשים נתונים פחות מתויגים : NSL מאפשר לרשתות עצביות לרתום נתונים מתויגים ובלתי מתויגים, מה שמרחיב את פרדיגמת הלמידה גם למידה חצי מפוקחת . באופן ספציפי, NSL מאפשרת לרשת להתאמן באמצעות נתונים שכותרתו כמו בהגדרה המפוקחת, ובמקביל מניע את הרשת ללמוד ייצוגים נסתרים דומים ל"דוגמאות השכנות "שעשויות להיות עם תוויות. טכניקה זו הראתה הבטחה רבה לשיפור דיוק המודל כאשר כמות הנתונים המתויגת קטנה יחסית ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

הדרכות שלב אחר שלב

כדי להשיג ניסיון מעשי בלמידה מובנית עצבית, יש לנו שלוש הדרכות המכסות תרחישים שונים בהם ניתן לתת, לגרום או לבנות במפורש אותות מובנים: