ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

إطار التعلم الهيكلية العصبية

يركز التعلم المهيكل العصبي (NSL) على تدريب الشبكات العصبية العميقة من خلال الاستفادة من الإشارات المنظمة (عند توفرها) جنبًا إلى جنب مع مدخلات الميزات. كما قدمه Bui et al. (WSDM'18) ، تُستخدم هذه الإشارات المنظمة لتنظيم تدريب الشبكة العصبية ، مما يجبر النموذج على تعلم تنبؤات دقيقة (عن طريق تقليل الخسارة الخاضعة للإشراف) ، مع الحفاظ في نفس الوقت على التشابه الهيكلي للإدخال (عن طريق تقليل خسارة الجار ، انظر الشكل أدناه). هذه التقنية عامة ويمكن تطبيقها على البنى العصبية التعسفية (مثل NNs للتغذية الأمامية و NN التلافيفية و NNs المتكررة).

مفهوم NSL

لاحظ أن معادلة خسارة الجار المعممة مرنة ويمكن أن يكون لها أشكال أخرى غير تلك الموضحة أعلاه. على سبيل المثال ، يمكننا أيضًا الاختيار

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

لتكون الخسارة المجاورة ، والتي تحسب المسافة بين الحقيقة الأرضية

$$y_i$$

والتنبؤ من الجار

$$g_\theta(x_j)$$

. يشيع استخدام هذا في التعلم العدائي (Goodfellow et al.، ICLR'15) . لذلك ، يُعمم NSL على تعلم الرسم البياني العصبي إذا تم تمثيل الجيران صراحةً برسم بياني ، والتعلم العدائي إذا تم تحفيز الجيران ضمنيًا من خلال الاضطراب العدائي.

سير العمل العام للتعلم المهيكل العصبي موضح أدناه. تمثل الأسهم السوداء سير عمل التدريب التقليدي وتمثل الأسهم الحمراء سير العمل الجديد كما تم تقديمه بواسطة NSL للاستفادة من الإشارات المنظمة. أولاً ، يتم زيادة عينات التدريب لتشمل إشارات منظمة. عندما لا يتم توفير إشارات منظمة بشكل صريح ، يمكن إما إنشاؤها أو تحريضها (ينطبق هذا الأخير على التعلم العدائي). بعد ذلك ، يتم تغذية عينات التدريب المعززة (بما في ذلك كل من العينات الأصلية وجيرانها المطابقين) للشبكة العصبية لحساب عمليات الزفاف الخاصة بهم. يتم حساب المسافة بين تضمين العينة وتضمين جارها واستخدامها كخسارة مجاورة ، والتي يتم التعامل معها كمصطلح تنظيم وإضافتها إلى الخسارة النهائية. من أجل التنظيم الصريح المستند إلى الجوار ، نحسب عادةً خسارة الجار على أنها المسافة بين تضمين العينة وتضمين الجار. ومع ذلك ، يمكن استخدام أي طبقة من الشبكة العصبية لحساب خسارة الجوار. من ناحية أخرى ، من أجل التنظيم المستحث على أساس الجوار (الخصوم) ، نحسب خسارة الجار على أنها المسافة بين توقع الناتج للجار العدائي المستحث وعلامة الحقيقة الأساسية.

سير عمل NSL

لماذا تستخدم NSL؟

يجلب NSL المزايا التالية:

  • دقة أعلى : يمكن للإشارة (الإشارات) المنظمة بين العينات أن توفر معلومات لا تتوفر دائمًا في مدخلات الميزات ؛ لذلك ، فقد تبين أن نهج التدريب المشترك (مع كل من الإشارات والميزات المنظمة) يتفوق على العديد من الأساليب الحالية (التي تعتمد على التدريب مع الميزات فقط) في مجموعة واسعة من المهام ، مثل تصنيف المستندات وتصنيف القصد الدلالي ( Bui et al. . ، WSDM'18 & Kipf et al. ، ICLR'17 ).
  • المتانة : أثبتت النماذج المدربة بأمثلة عدائية أنها قوية ضد الاضطرابات العدائية المصممة لتضليل تنبؤ أو تصنيف النموذج ( Goodfellow et al.، ICLR'15 & Miyato et al.، ICLR'16 ). عندما يكون عدد عينات التدريب صغيرًا ، فإن التدريب باستخدام الأمثلة العدائية يساعد أيضًا في تحسين دقة النموذج ( Tsipras et al.، ICLR'19 ).
  • مطلوب بيانات أقل تصنيفًا: يُمكّن NSL الشبكات العصبية من تسخير البيانات المصنفة وغير المصنفة ، مما يوسع نموذج التعلم إلى التعلم شبه الخاضع للإشراف . على وجه التحديد ، يسمح NSL للشبكة بالتدريب باستخدام البيانات المصنفة كما هو الحال في الإعداد الخاضع للإشراف ، وفي نفس الوقت يقود الشبكة للتعرف على تمثيلات مخفية مماثلة لـ "العينات المجاورة" التي قد تحتوي أو لا تحتوي على تسميات. أظهرت هذه التقنية وعدًا كبيرًا لتحسين دقة النموذج عندما تكون كمية البيانات المصنفة صغيرة نسبيًا ( Bui et al.، WSDM'18 & Miyato et al.، ICLR'16 ).

البرامج التعليمية خطوة بخطوة

للحصول على خبرة عملية مع التعلم المهيكل العصبي ، لدينا ثلاثة برامج تعليمية تغطي سيناريوهات مختلفة حيث يمكن إعطاء إشارات منظمة أو استحداثها أو بنائها بشكل صريح: