این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

چارچوب یادگیری ساختاری عصبی

یادگیری ساختاری عصبی (NSL) با اعمال فشار سیگنالهای ساختاری (در صورت وجود) به همراه ورودی های ویژگی ، بر آموزش شبکه های عصبی عمیق متمرکز است. همانطور که توسط Bui و همکاران معرفی شده است. (WSDM'18) ، از این سیگنال های ساختاری برای تنظیم منظم آموزش یک شبکه عصبی استفاده می شود و مدل را مجبور می کند پیش بینی های دقیق را یاد بگیرد (با به حداقل رساندن ضرر نظارت شده) و در عین حال شباهت ساختاری ورودی را حفظ کند (با به حداقل رساندن ضرر همسایه شکل زیر را ببینید) این تکنیک عمومی است و می تواند در معماری های عصبی دلخواه (مانند NN های Feed-Forward ، NN های Convolutional و NN های مکرر) اعمال شود.

مفهوم NSL

توجه داشته باشید که معادله از دست دادن همسایه تعمیم یافته قابل انعطاف است و می تواند اشکال دیگری به غیر از آنچه در بالا نشان داده شده باشد نیز داشته باشد. به عنوان مثال ، ما همچنین می توانید انتخاب کنید

$ $ \ sum_ {x_j \ in \ mathcal {N} (x_i) \ mathcal {E} (y_i، g_ \ theta (x_j)) $ $

از بین رفتن همسایه ، که فاصله بین حقیقت زمین را محاسبه می کند

$ $ y_i $ $

و پیش بینی از همسایه

$ $ g_ \ تتا (x_j) $ $

. این معمولاً در یادگیری مخالفان مورد استفاده قرار می گیرد (Goodfellow و همکاران ، ICLR'15) . بنابراین ، NSL در صورتی که همسایگان به صراحت توسط یک نمودار نشان داده شده اند ، و به Adversarial Learning در صورتی که همسایگان به طور ضمنی از اغتشاشات مخالف ناشی می شوند ، به آموزش نمودار عصبی تعمیم می دهند.

گردش کلی کار برای یادگیری ساختاری عصبی در زیر نشان داده شده است. فلش های سیاه نمایانگر گردش کار آموزش معمول است و فلش های قرمز نشان دهنده گردش کار جدید است که توسط NSL برای اعمال سیگنال های ساخت یافته معرفی شده است. در مرحله اول ، نمونه های آموزش افزوده می شوند تا شامل سیگنال های ساختاری شوند. هنگامی که سیگنال های ساختاری به صراحت ارائه نشده اند ، می توانند ساخت یا القا شوند (دومی در مورد یادگیری مخالفان کاربرد دارد). در مرحله بعد ، نمونه های تمرین تقویت شده (از جمله هر دو نمونه اصلی و همسایگان مربوطه) برای محاسبه تعبیه های خود به شبکه عصبی تغذیه می شوند. فاصله بین تعبیه نمونه و تعبیه همسایه آن به عنوان ضرر همسایه محاسبه می شود و مورد استفاده قرار می گیرد که به عنوان یک اصطلاح منظم درمان می شود و به ضرر نهایی اضافه می شود. برای منظم سازی صریح مبتنی بر همسایگان ، ما معمولاً تلفات همسایه را به عنوان فاصله بین تعبیه نمونه و تعبیه همسایه محاسبه می کنیم. با این حال ، هر لایه ای از شبکه عصبی ممکن است برای محاسبه از دست دادن همسایه استفاده شود. از طرف دیگر ، برای ایجاد نظم مبتنی بر همسایه (مخالف) ، ما تلفات همسایه را به عنوان فاصله بین پیش بینی خروجی همسایه خصمانه القا شده و برچسب حقیقت زمین محاسبه می کنیم.

گردش کار NSL

چرا از NSL استفاده می کنیم؟

NSL مزایای زیر را به همراه دارد:

  • دقت بالاتر : سیگنال (های) ساختار یافته در بین نمونه ها می تواند اطلاعاتی را ارائه دهد که همیشه در ورودی های ویژگی وجود ندارد. بنابراین ، رویکرد آموزش مشترک (با هر دو سیگنال و ویژگیهای ساختاری) نشان داده شده است که بسیاری از روشهای موجود (که به آموزش فقط با ویژگیها متکی هستند) در طیف گسترده ای از وظایف ، مانند طبقه بندی اسناد و طبقه بندی هدف معنایی ( Bi et al. . ، WSDM'18 و Kipf و همکاران ، ICLR'17 ).
  • پایداری: مدل های آموزش دیده با نمونه های خصمانه نشان داده شده است که مقاوم در برابر آشفتگی خصمانه طراحی شده برای گمراه کننده پیش بینی یک مدل یا طبقه بندی ( GOODFELLOW و همکاران، ICLR'15. و Miyato و همکاران، ICLR'16. ). هنگامی که تعداد نمونه های آموزشی اندک است ، آموزش با نمونه های مخالف همچنین به بهبود دقت مدل کمک می کند ( Tsipras و همکاران ، ICLR'19 ).
  • داده های دارای برچسب کمتر مورد نیاز : NSL شبکه های عصبی را قادر می سازد تا داده های دارای برچسب و بدون برچسب را مهار کنند ، که الگوی یادگیری را به یادگیری نیمه نظارت گسترش می دهد . به طور خاص ، NSL به شبکه اجازه می دهد تا با استفاده از داده های دارای برچسب همانند تنظیمات نظارت شده ، آموزش ببیند و در همان زمان شبکه را هدایت کند تا بازنمودهای پنهان مشابهی را برای "نمونه های همسایه" که ممکن است برچسب داشته باشند بیاموزد. این روش نوید بزرگی را برای بهبود دقت مدل نشان می دهد زمانی که مقدار داده های برچسب خورده نسبتاً کم است ( Bui et al.، WSDM'18 & Miyato et al.، ICLR'16 ).

آموزش گام به گام

برای به دست آوردن تجربه دستی در زمینه یادگیری ساختاری عصبی ، ما سه آموزش داریم که سناریوهای مختلفی را پوشش می دهند که در آن سیگنال های ساخت یافته صریحاً داده می شوند ، القا می شوند یا ساخته می شوند: