چارچوب یادگیری ساختاری عصبی

آموزش ساختاری عصبی (NSL) با استفاده از سیگنال های ساخت یافته (در صورت وجود) همراه با ورودی های ویژگی ، بر آموزش شبکه های عصبی عمیق متمرکز است. همانطور که بوئی و همکاران معرفی کردند. (WSDM'18) ، این سیگنالهای ساختاریافته برای منظم سازی آموزش یک شبکه عصبی استفاده می شوند ، مدل را مجبور به یادگیری پیش بینی های دقیق می کند (با به حداقل رساندن از دست دادن نظارت شده) ، در عین حال شباهت ساختاری ورودی را حفظ می کند (با به حداقل رساندن از دست دادن همسایه ، شکل زیر را ببینید). این روش عمومی است و می تواند در معماری های عصبی دلخواه (مانند NN های Feed-forward ، NN های Convolutional و NN های مکرر) اعمال شود.

مفهوم NSL

توجه داشته باشید که معادله تلفات همسایه تعمیم یافته انعطاف پذیر است و می تواند به غیر از آنچه در بالا نشان داده شده ، اشکال دیگری نیز داشته باشد. به عنوان مثال ، ما همچنین می توانیم انتخاب کنیم

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

برای از دست دادن همسایه ، که فاصله بین حقیقت زمین را محاسبه می کند

$$y_i$$

و پیش بینی از طرف همسایه

$$g_\theta(x_j)$$

. این معمولاً در یادگیری خصمانه مورد استفاده قرار می گیرد (Goodfellow و همکاران ، ICLR'15) . بنابراین ، اگر همسایگان به طور آشکار توسط یک نمودار نشان داده شوند ، NSL به یادگیری نمودار عصبی تعمیم می یابد و اگر همسایگان به طور آشکار ناشی از اغتشاش خصمانه باشند ، به یادگیری خصمانه می پردازند.

گردش کار کلی برای یادگیری ساختاری عصبی در زیر نشان داده شده است. پیکانهای سیاه نشان دهنده گردش کار متداول و پیکانهای قرمز نشان دهنده گردش کار جدید است که توسط NSL برای استفاده از سیگنالهای ساختاری معرفی شده است. ابتدا نمونه های آموزشی افزوده می شوند که شامل سیگنال های ساخت یافته هستند. هنگامی که سیگنال های ساختاری به طور صریح ارائه نشوند ، می توان آنها را ساخت یا القا کرد (دومی برای یادگیری خصمانه اعمال می شود). در مرحله بعد ، نمونه های آموزشی افزوده شده (شامل هر دو نمونه اصلی و همسایگان متناظر آنها) برای محاسبه تعبیه شده به شبکه عصبی تغذیه می شوند. فاصله بین جاسازی نمونه و جاسازی همسایه محاسبه می شود و به عنوان ضرر همسایه استفاده می شود ، که به عنوان یک اصطلاح قاعده بندی تلقی می شود و به ضرر نهایی اضافه می شود. برای منظم سازی صریح مبتنی بر همسایه ، ما معمولاً ضرر همسایه را به عنوان فاصله بین جاسازی نمونه و جاسازی همسایه محاسبه می کنیم. با این حال ، ممکن است از هر لایه شبکه عصبی برای محاسبه تلفات همسایه استفاده شود. از طرف دیگر ، برای قاعده گذاری مبتنی بر همسایه (خصومت) ، ما تلفات همسایه را به عنوان فاصله بین پیش بینی خروجی همسایه خصمانه القایی و برچسب حقیقت زمین محاسبه می کنیم.

گردش کار NSL

چرا از NSL استفاده کنیم؟

NSL مزایای زیر را به همراه دارد:

  • دقت بالاتر : سیگنال (های) ساخت یافته در بین نمونه ها می توانند اطلاعاتی را ارائه دهند که همیشه در ورودی ویژگی ها وجود ندارد. بنابراین ، نشان داده شده است که رویکرد آموزش مشترک (با هر دو سیگنال و ویژگی ساختار یافته) در طیف وسیعی از وظایف مانند طبقه بندی اسناد و طبقه بندی قصد معنایی (بسیاری از روشهای موجود ) ، WSDM'18 و Kipf و همکاران ، ICLR'17 ).
  • استحکام : نشان داده شده است که مدل های آموزش دیده با مثال های خصمانه در برابر اغتشاشات خصمانه طراحی شده برای گمراه کردن پیش بینی یا طبقه بندی مدل ( گودفلوو و دیگران ، ICLR'15 و میاتو و همکاران ، ICLR'16 ) هنگامی که تعداد نمونه های آموزش کم باشد ، آموزش با مثالهای خصمانه نیز به بهبود دقت مدل کمک می کند ( Tsipras و همکاران ، ICLR'19 ).
  • داده های کمتر برچسب خورده مورد نیاز : NSL شبکه های عصبی را قادر می سازد تا داده های دارای برچسب و بدون برچسب را مهار کنند ، که این الگوی یادگیری را به یادگیری نیمه نظارت شده گسترش می دهد . به طور خاص ، NSL به شبکه اجازه می دهد تا با استفاده از داده های دارای برچسب همانند تنظیمات نظارت شده آموزش ببیند ، و در عین حال شبکه را به یادگیری نمایش های پنهان مشابه برای "نمونه های همسایه" که ممکن است دارای برچسب باشند ، سوق می دهد. این روش نوید خوبی برای بهبود دقت مدل داده است ، وقتی كه مقدار داده های دارای برچسب نسبتاً كم باشد ( Bui et al.، WSDM'18 & Miyato et al.، ICLR'16 ).

آموزش گام به گام

برای به دست آوردن تجربه عملی با یادگیری ساختاری عصبی ، ما سه آموزش داریم که سناریوهای مختلفی را پوشش می دهد که ممکن است صریحاً سیگنال های ساختاری داده ، القا یا ساخته شوند: