דף זה תורגם על ידי Cloud Translation API.
Switch to English

מסגרת הלמידה המובנית העצבית

Neural Structured Learning (NSL) מתמקד באימוני רשתות עצביות עמוקות על ידי מינוף אותות מובנים (כאשר קיימים) יחד עם תשומות תכונות. כפי שהוצג על ידי Bui et al. (WSDM'18) , האותות המובנים הללו משמשים להסדרת האימון של רשת עצבית, מה שמכריח את המודל ללמוד תחזיות מדויקות (על ידי צמצום האובדן המפוקח), ובמקביל לשמור על הדמיון המבני של הקלט (על ידי צמצום האובדן השכן) ראה את הדמות למטה). טכניקה זו היא גנרית ויכולה להיות מיושמת על ארכיטקטורות עצביות שרירותיות (כגון NNs Feed-forward, NNs Convolutional ו- NNs חוזרים).

NSL קונספט

שימו לב שמשוואת אובדן השכנים הכללית היא גמישה ויכולה להיות בעלת צורות אחרות מלבד זו המוצגת לעיל. לדוגמה, אנו יכולים גם לבחור

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

להיות האובדן של השכן, המחושב את המרחק בין האמת הקרקעית

$$ y_i $$

והתחזית מהשכנה

$$ g_ \ תטא (x_j) $$

. משתמשים בהם בדרך כלל בלמידה שלילית (Goodfellow et al., ICLR'15) . לפיכך, NSL כללית ללמידה גרפית עצבית אם שכנים מיוצגים במפורש על ידי גרף, וללמידה אדברסרית אם שכנים נגרמים באופן מרומז על ידי הפרעה שלילית.

להלן מופיעה זרימת העבודה הכוללת ללמידה עצבית מובנית. חיצים שחורים מייצגים את זרימת האימון המקובלת וחצים אדומים מייצגים את זרימת העבודה החדשה כפי שהוצגה על ידי NSL כדי למנף אותות מובנים. ראשית, דגימות ההדרכה מתוגברות כך שיכללו איתותים מובנים. כאשר לא ניתנים במפורש אותות מובנים, ניתן לבנות אותם או ליצור אותם (האחרון חל על למידה שלילית). בשלב הבא, דגימות האימונים הגדולות (כולל דגימות מקוריות וגם שכנותיהן המתאימות) מוזנות לרשת העצבית לצורך חישוב ההטבעות שלהם. המרחק בין הטמעת מדגם והטבעה של שכנתו מחושב ומשמש כאובדן השכן, שמתייחסים אליו כמונח סדירה ומתווספים לאובדן הסופי. לצורך סידור מפורש מבוסס שכנים, אנו מחושבים בדרך כלל את אובדן השכן כמרחק בין הטמעת המדגם והטמעת השכן. עם זאת, כל שכבה ברשת העצבית עשויה לשמש כדי לחשב את אובדן השכן. מצד שני, לצורך סדירה מבוססת שכנים (יריב), אנו מחשבים את אובדן השכן כמרחק בין תחזית התפוקה של השכן היריב המושרה לבין תווית האמת הקרקע.

זרימת עבודה של NSL

מדוע להשתמש ב- NSL?

NSL מביאה את היתרונות הבאים:

  • דיוק גבוה יותר : האות (ים) המובנים בין דגימות יכולים לספק מידע שלא תמיד זמין בתשומות לתכונה; לפיכך, הוכח כי גישת האימונים המשותפת (עם אותות מובנים ותכונות כאחד) עולה על שיטות קיימות רבות (הנשענות על אימונים עם תכונות בלבד) על מגוון רחב של משימות, כגון סיווג מסמכים וסיווג כוונות סמנטיות ( Bui et al. ., WSDM'18 & Kipf et al., ICLR'17 ).
  • חוסן : מודלים שהוכשרו עם דוגמאות לירושלים הוכחו כחזקים כנגד הפרעות שליליות שנועדו להטעות את תחזיתו או סיווגו של מודל ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). כאשר מספר דגימות האימונים הוא קטן, אימונים עם דוגמאות יריביות מסייעים גם בשיפור הדיוק של המודל ( Tsipras et al., ICLR'19 ).
  • נדרשים נתונים פחות מסומנים : NSL מאפשר לרשתות עצביות לרתום נתונים מסומנים וגם ללא תווית, מה שמרחיב את פרדיגמת הלמידה ללמידה מפוקחת למחצה . באופן ספציפי, NSL מאפשרת לרשת להתאמן באמצעות נתונים מסומנים כמו בהגדרה המפוקחת, ובד בבד מניע את הרשת ללמוד ייצוגים נסתרים דומים עבור "הדגימות השכנות" שעשויות להכיל תוויות או לא. טכניקה זו הראתה הבטחה רבה לשיפור דיוק המודל כאשר כמות הנתונים המסומנת קטנה יחסית ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

הדרכות שלב אחר שלב

כדי להשיג ניסיון מעשי בלימוד מבנה עצבי, יש לנו שלושה הדרכות המכסות תרחישים שונים שבהם ניתן לתת, להעלות או לבנות במפורש אותות מובנים: