ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

إطار التعلم العصبي المنظم

يركز التعلم العصبي المنظم (NSL) على تدريب الشبكات العصبية العميقة من خلال الاستفادة من الإشارات المنظمة (عند توفرها) جنبًا إلى جنب مع مدخلات الميزات. كما قدمه Bui وآخرون. (WSDM'18) ، تُستخدم هذه الإشارات المنظمة لتنظيم تدريب شبكة عصبية ، مما يجبر النموذج على تعلم تنبؤات دقيقة (عن طريق تقليل الخسارة تحت الإشراف) ، مع الحفاظ في الوقت نفسه على تشابه هيكل الإدخال (من خلال تقليل خسارة الجار إلى أدنى حد ، انظر الشكل أدناه). هذه التقنية عامة ويمكن تطبيقها على البنى العصبية التعسفية (مثل NNs Feed-forward و NNs التلافيفية و NN المتكررة).

مفهوم NSL

لاحظ أن معادلة خسارة الجار المعممة مرنة ويمكن أن يكون لها أشكال أخرى إلى جانب الشكل الموضح أعلاه. على سبيل المثال ، يمكننا أيضًا الاختيار

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i، g_ \ theta (x_j)) $$

أن تكون خسارة الجار ، التي تحسب المسافة بين الحقيقة على الأرض

$$ y_i $$

والتنبؤ من الجار

$$ g_ \ theta (x_j) $$

. يُستخدم هذا بشكل شائع في تعلم الخصومة (Goodfellow et al.، ICLR'15) . لذلك ، يعمم NSL لتعلم الرسم البياني العصبي إذا كان الجيران يتم تمثيلهم بشكل صريح برسم بياني ، وللتعلم العدائي إذا تم حث الجيران بشكل ضمني على اضطراب الخصومة.

يتم توضيح سير العمل العام للتعلم العصبي المنظم أدناه. تمثل الأسهم السوداء سير عمل التدريب التقليدي والأسهم الحمراء تمثل سير العمل الجديد كما قدمته NSL للاستفادة من الإشارات المنظمة. أولاً ، يتم زيادة عينات التدريب لتشمل الإشارات المنظمة. عندما لا يتم توفير الإشارات المنظمة بشكل صريح ، يمكن إنشاؤها أو تحريضها (ينطبق الأخير على تعلم الخصومة). بعد ذلك ، يتم تغذية عينات التدريب المعزز (بما في ذلك العينات الأصلية وجيرانها المطابقين) إلى الشبكة العصبية لحساب عمليات التضمين الخاصة بها. يتم حساب المسافة بين تضمين العينة وتضمين جارها واستخدامها كخسارة الجار ، والتي يتم التعامل معها كمصطلح تسوية وإضافتها إلى الخسارة النهائية. بالنسبة للتسوية الصريحة القائمة على الجار ، فإننا عادةً ما نحسب خسارة الجار كمسافة بين تضمين العينة وتضمين الجار. ومع ذلك ، يمكن استخدام أي طبقة من الشبكة العصبية لحساب خسارة الجار. من ناحية أخرى ، بالنسبة للتسوية المستندة إلى الجار المستحث (العدو) ، فإننا نحسب خسارة الجار كمسافة بين التنبؤ الناتج عن الجار الخصم المحرض وبطاقة الحقيقة على الأرض.

سير عمل NSL

لماذا استخدام NSL؟

NSL يجلب المزايا التالية:

  • دقة أعلى : يمكن للإشارة (الإشارات) المنظمة بين العينات توفير معلومات لا تتوفر دائمًا في مدخلات الميزات ؛ لذلك ، فقد ثبت أن نهج التدريب المشترك (مع كل من الإشارات والميزات المنظمة) يتفوق على العديد من الطرق الحالية (التي تعتمد على التدريب مع الميزات فقط) في مجموعة واسعة من المهام ، مثل تصنيف المستندات وتصنيف الهدف الدلالي ( Bui وآخرون . ، WSDM'18 & Kipf et al.، ICLR'17 ).
  • المتانة : أثبتت النماذج المدربة بأمثلة عدائية أنها قوية ضد الاضطرابات العدائية المصممة لتضليل التنبؤ أو التصنيف للنموذج ( Goodfellow et al.، ICLR'15 & Miyato et al.، ICLR'16 ). عندما يكون عدد عينات التدريب صغيرًا ، يساعد التدريب بأمثلة الخصومة أيضًا في تحسين دقة النموذج ( Tsipras et al.، ICLR'19 ).
  • البيانات الأقل تصنيفًا المطلوبة : تمكّن NSL الشبكات العصبية من تسخير البيانات المصنفة وغير المصنفة على حد سواء ، وهو ما يمتد بنموذج التعلم إلى التعلم شبه تحت الإشراف . على وجه التحديد ، تسمح NSL للشبكة بالتدريب باستخدام البيانات المصنفة كما هو الحال في الإعداد الخاضع للإشراف ، وفي الوقت نفسه تدفع الشبكة لتعلم تمثيلات مخفية مماثلة لـ "العينات المجاورة" التي قد تحتوي أو لا تحتوي على تصنيفات. أظهرت هذه التقنية وعدًا كبيرًا بتحسين دقة النموذج عندما تكون كمية البيانات المصنفة صغيرة نسبيًا ( Bui et al.، WSDM'18 & Miyato et al.، ICLR'16 ).

دروس خطوة بخطوة

للحصول على خبرة عملية في التعلم العصبي المنظم ، لدينا ثلاثة دروس تعليمية تغطي سيناريوهات مختلفة حيث يمكن إعطاء الإشارات المنظمة أو تحريضها أو إنشائها بشكل صريح: