مساعدة في حماية الحاجز المرجاني العظيم مع TensorFlow على Kaggle تاريخ التحدي

إطار التعلم الهيكلية العصبية

يركز التعلم المهيكل العصبي (NSL) على تدريب الشبكات العصبية العميقة من خلال الاستفادة من الإشارات الهيكلية (عند توفرها) جنبًا إلى جنب مع مدخلات الميزات. كما عرضته بوي وآخرون. (WSDM'18) ، وتستخدم هذه الإشارات منظم لتنظيم تدريب الشبكة العصبية، مما اضطر نموذج لمعرفة تنبؤات دقيقة (عن طريق تقليل فقدان أشرف)، بينما في نفس الوقت الحفاظ على المدخلات التشابه الهيكلي (عن طريق التقليل من خسارة جاره ، انظر الشكل أدناه). هذه التقنية عامة ويمكن تطبيقها على البنى العصبية التعسفية (مثل NNs للتغذية الأمامية و NN التلافيفية و NNs المتكررة).

مفهوم NSL

لاحظ أن معادلة خسارة الجار المعممة مرنة ويمكن أن يكون لها أشكال أخرى غير تلك الموضحة أعلاه. على سبيل المثال، يمكننا أيضا تحديد\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) أن تكون خسارة جاره، الذي يحسب المسافة بين الحقيقة على الارض \(y_i\)والتنبؤ من الجار \(g_\theta(x_j)\). ويشيع استخدام هذا في التعلم الخصومة (غودفلوو آخرون، ICLR'15) . ولذلك، يعمم قانون الأمن القومي لالعصبية الرسم البياني التعلم إذا كان يتم تمثيل الجيران صراحة الرسم البياني، والخصومة التعلم إذا تم بفعل الجيران ضمنيا اضطراب الخصومة.

سير العمل العام للتعلم المهيكل العصبي موضح أدناه. تمثل الأسهم السوداء سير عمل التدريب التقليدي وتمثل الأسهم الحمراء سير العمل الجديد كما تم تقديمه بواسطة NSL للاستفادة من الإشارات المنظمة. أولاً ، يتم زيادة عينات التدريب لتشمل إشارات منظمة. عندما لا يتم توفير إشارات منظمة بشكل صريح ، يمكن إما إنشاؤها أو استحداثها (ينطبق هذا الأخير على التعلم العدائي). بعد ذلك ، يتم تغذية عينات التدريب المعززة (بما في ذلك كل من العينات الأصلية وجيرانها المطابقين) للشبكة العصبية لحساب عمليات الزفاف الخاصة بهم. يتم حساب المسافة بين تضمين العينة وتضمين جارها واستخدامها كخسارة مجاورة ، والتي يتم التعامل معها كمصطلح تنظيم وإضافتها إلى الخسارة النهائية. بالنسبة إلى التنظيم الصريح المستند إلى الجوار ، نحسب عادةً خسارة الجار على أنها المسافة بين تضمين العينة وتضمين الجار. ومع ذلك ، يمكن استخدام أي طبقة من الشبكة العصبية لحساب خسارة الجوار. من ناحية أخرى ، من أجل التنظيم المستحث على أساس الجوار (الخصوم) ، نحسب خسارة الجار على أنها المسافة بين توقع الناتج للجار العدائي المستحث وعلامة الحقيقة الأساسية.

سير عمل NSL

لماذا تستخدم NSL؟

يجلب NSL المزايا التالية:

  • أعلى قدر من الدقة: إشارة منظم (ق) بين عينات يمكن أن توفر معلومات غير متوفرة في المدخلات ميزة دائما. لذلك، وقد تبين نهج التدريب المشترك (مع كل من إشارات منظم والسمات) ليتفوق على العديد من الأساليب القائمة (التي تعتمد على التدريب مع ميزات فقط) على مجموعة واسعة من المهام، مثل تصنيف الوثائق وتصنيفها القصد الدلالي ( بوي وآخرون .، WSDM'18 و Kipf آخرون، ICLR'17 ).
  • وقد أظهرت نماذج تدرب مع أمثلة الخصومة أن تكون قوية ضد الاضطرابات عدائية تهدف لتضليل التنبؤ نموذج أو تصنيف (: متانة غودفلوو آخرون، ICLR'15. و Miyato آخرون، ICLR'16. ). عندما يكون عدد العينات التدريب هو صغير، والتدريب مع أمثلة الخصومة ويساهم في تحسين دقة نموذج ( تسيبراس وآخرون، ICLR'19 ).
  • أقل البيانات المسمى المطلوبة: قانون الأمن القومي تمكن الشبكات العصبية لتسخير كل من البيانات وصفت وغير المسماة، والتي تمتد على نموذج التعلم إلى التعلم شبه إشراف . على وجه التحديد ، يسمح NSL للشبكة بالتدريب باستخدام البيانات المصنفة كما هو الحال في الإعداد الخاضع للإشراف ، وفي نفس الوقت يقود الشبكة للتعرف على تمثيلات مخفية مماثلة لـ "العينات المجاورة" التي قد تحتوي أو لا تحتوي على تسميات. وقد أظهرت هذه التقنية وعدا كبيرا لتحسين دقة نموذج عندما كمية البيانات المسمى صغير نسبيا ( بوي وآخرون، WSDM'18 و Miyato آخرون ICLR'16.، ).

دروس خطوة بخطوة

للحصول على خبرة عملية في التعلم المهيكل العصبي ، لدينا برامج تعليمية تغطي سيناريوهات مختلفة حيث يمكن إعطاء إشارات منظمة أو بناؤها أو استحداثها بشكل صريح. وهنا عدد قليل:

ويمكن الاطلاع على المزيد من الأمثلة والدروس في الأمثلة دليل لدينا مستودع جيثب.