این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

چارچوب یادگیری ساختاری عصبی

یادگیری ساختاری عصبی (NSL) بر روی آموزش شبکه های عمقی عصبی با اعمال سیگنال های ساختاری (در صورت وجود) به همراه ورودی های ویژگی تمرکز دارد. همانطور که توسط Bui و همکاران معرفی شده است. (WSDM'18) ، از این سیگنال های ساختاری برای تنظیم منظم آموزش یک شبکه عصبی استفاده می شود و مدل را مجبور می کند پیش بینی های دقیق را یاد بگیرد (با به حداقل رساندن از دست دادن نظارت شده) و در عین حال شباهت ساختاری ورودی را حفظ کند (با به حداقل رساندن ضرر همسایه شکل زیر را ببینید) این روش عمومی است و می تواند در معماری های عصبی دلخواه (مانند NN های Feed-Forward ، NN های Convolutional و NN های مکرر) اعمال شود.

مفهوم NSL

توجه داشته باشید که معادله از دست دادن همسایه تعمیم یافته قابل انعطاف است و علاوه بر آنچه در بالا نشان داده شده است می تواند اشکال دیگری نیز داشته باشد. به عنوان مثال ، ما همچنین می توانید انتخاب کنید

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

از بین رفتن همسایه ، که فاصله بین حقیقت زمین را محاسبه می کند

$$y_i$$

و پیش بینی از همسایه

$$g_\theta(x_j)$$

. این معمولاً در یادگیری مخالف استفاده می شود (Goodfellow و همکاران ، ICLR'15) . بنابراین ، NSL در صورتی که همسایگان به صراحت توسط یک نمودار نشان داده شده اند ، و به Adversarial Learning در صورتی که همسایگان به طور ضمنی از اغتشاشات مخالف ناشی می شوند ، به یادگیری نمودار عصبی تعمیم می دهند.

گردش کلی کار برای یادگیری ساختاری عصبی در زیر نشان داده شده است. فلش های سیاه نمایانگر گردش کار آموزش معمولی است و فلش های قرمز نشان دهنده گردش کار جدید است که توسط NSL برای اعمال سیگنال های ساخت یافته معرفی شده است. در مرحله اول ، نمونه های آموزش افزوده می شوند تا شامل سیگنال های ساختاری شوند. هنگامی که سیگنال های ساختاری به صراحت ارائه نشده اند ، می توانند ساخت یا القا شوند (دومی برای یادگیری مخالف اعمال می شود). در مرحله بعد ، نمونه های تمرین تقویت شده (از جمله هر دو نمونه اصلی و همسایگان مربوطه) برای محاسبه تعبیه های خود به شبکه عصبی تغذیه می شوند. فاصله بین تعبیه نمونه و تعبیه همسایه آن به عنوان ضرر همسایه محاسبه می شود و مورد استفاده قرار می گیرد که به عنوان یک اصطلاح نظم بخشی درمان می شود و به ضرر نهایی اضافه می شود. برای منظم سازی صریح مبتنی بر همسایگان ، ما معمولاً تلفات همسایه را به عنوان فاصله بین تعبیه نمونه و تعبیه همسایه محاسبه می کنیم. با این حال ، هر لایه ای از شبکه عصبی ممکن است برای محاسبه از دست دادن همسایه استفاده شود. از طرف دیگر ، برای ایجاد نظم مبتنی بر همسایه (مخالف) ، ما محاسبه تلفات همسایه به عنوان فاصله بین پیش بینی خروجی همسایه دشمن مخالف و برچسب حقیقت زمین است.

گردش کار NSL

چرا از NSL استفاده می کنیم؟

NSL مزایای زیر را به همراه دارد:

  • دقت بالاتر : سیگنال (های) ساختار یافته در بین نمونه ها می تواند اطلاعاتی را ارائه دهد که همیشه در ورودی های ویژگی وجود ندارد. بنابراین ، رویکرد آموزش مشترک (با هر دو سیگنال و ویژگی های ساختاری) نشان داده شده است که بسیاری از روش های موجود (که به آموزش فقط با ویژگی ها متکی هستند) در طیف گسترده ای از وظایف ، مانند طبقه بندی اسناد و طبقه بندی هدف معنایی ( BI و همکاران . ، WSDM'18 و Kipf و همکاران ، ICLR'17 ).
  • پایداری: مدل های آموزش دیده با نمونه های خصمانه نشان داده شده است که مقاوم در برابر آشفتگی خصمانه طراحی شده برای گمراه کننده پیش بینی یک مدل یا طبقه بندی ( GOODFELLOW و همکاران، ICLR'15. و Miyato و همکاران، ICLR'16. ). هنگامی که تعداد نمونه های آموزشی اندک است ، آموزش با نمونه های مخالف همچنین به بهبود دقت مدل کمک می کند ( Tsipras و همکاران ، ICLR'19 ).
  • داده های دارای برچسب کمتر مورد نیاز : NSL شبکه های عصبی را قادر می سازد تا داده های دارای برچسب و بدون برچسب را مهار کنند ، که الگوی یادگیری را به یادگیری نیمه نظارت گسترش می دهد . به طور خاص ، NSL به شبکه اجازه می دهد تا با استفاده از داده های دارای برچسب همانند تنظیمات نظارت شده ، آموزش دهد و همزمان شبکه را هدایت کند تا بازنمودهای پنهان مشابهی را برای "نمونه های همسایه" که ممکن است برچسب داشته باشند بیاموزد. این روش نوید بزرگی را برای بهبود دقت مدل نشان می دهد زمانی که مقدار داده های برچسب خورده نسبتاً کم است ( Bui et al.، WSDM'18 & Miyato et al.، ICLR'16 ).

آموزش گام به گام

برای به دست آوردن تجربه دستی در زمینه یادگیری ساختاری عصبی ، ما سه آموزش داریم که سناریوهای مختلفی را پوشش می دهند که در آن سیگنال های ساخت یافته صریحاً داده می شوند ، القا می شوند یا ساخته می شوند: