یادگیری ساختیافته عصبی (NSL) بر آموزش شبکههای عصبی عمیق با استفاده از سیگنالهای ساختاریافته (در صورت وجود) همراه با ورودیهای ویژگی تمرکز دارد. همانطور که توسط معرفی بویی و همکاران (WSDM'18) ، این سیگنال ساختار استفاده می شود برای قاعدهمند آموزش شبکه عصبی، مجبور به یادگیری مدل پیش بینی های دقیق (با به حداقل رساندن از دست دادن نظارت)، در حالی که در همان زمان حفظ ورودی شباهت ساختاری (با به حداقل رساندن از دست دادن همسایه ، شکل زیر را ببینید). این تکنیک عمومی است و میتواند در معماریهای عصبی دلخواه (مانند NNهای فید فوروارد، NNهای Convolutional و NNهای بازگشتی) اعمال شود.
توجه داشته باشید که معادله از دست دادن همسایه تعمیمیافته انعطافپذیر است و میتواند شکلهای دیگری غیر از آنچه در بالا نشان داده شده باشد. برای مثال، ما همچنین می توانید انتخاب\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) به از دست دادن همسایه، که محاسبه فاصله بین حقیقت زمین \(y_i\)و پیش بینی از همسایه \(g_\theta(x_j)\). این است که معمولا در یادگیری خصمانه استفاده (GOODFELLOW و همکاران، ICLR'15) . بنابراین، عام NSL به عصبی نمودار آموزش اگر همسایگان به صراحت توسط یک نمودار نشان داده، و به خصمانه آموزش اگر همسایگان به طور ضمنی توسط اغتشاش خصمانه ناشی از.
گردش کار کلی برای یادگیری ساختاریافته عصبی در زیر نشان داده شده است. فلشهای سیاه نشاندهنده گردش کار آموزشی معمولی و فلشهای قرمز نشاندهنده گردش کار جدید است که توسط NSL برای استفاده از سیگنالهای ساختاریافته معرفی شده است. ابتدا، نمونههای آموزشی برای گنجاندن سیگنالهای ساختاریافته تکمیل میشوند. هنگامی که سیگنال های ساخت یافته به طور صریح ارائه نمی شوند، می توان آنها را ساخت یا القا کرد (این مورد برای یادگیری خصمانه کاربرد دارد). سپس، نمونههای آموزشی تقویتشده (شامل نمونههای اصلی و همسایههای متناظر آنها) برای محاسبه تعبیههای آنها به شبکه عصبی تغذیه میشوند. فاصله بین تعبیه نمونه و جاسازی همسایه آن محاسبه و به عنوان ضرر همسایه استفاده می شود که به عنوان یک اصطلاح منظم در نظر گرفته می شود و به ضرر نهایی اضافه می شود. برای نظمدهی صریح مبتنی بر همسایه، ما معمولاً از دست دادن همسایه را به عنوان فاصله بین جاسازی نمونه و جاسازی همسایه محاسبه میکنیم. با این حال، هر لایه از شبکه عصبی ممکن است برای محاسبه از دست دادن همسایه استفاده شود. از سوی دیگر، برای نظمدهی مبتنی بر همسایه القایی (مخالف)، از دست دادن همسایه را به عنوان فاصله بین پیشبینی خروجی همسایه متخاصم القایی و برچسب حقیقت زمین محاسبه میکنیم.
چرا از NSL استفاده کنیم؟
NSL مزایای زیر را به همراه دارد:
- دقت بالاتر: سیگنال ساخت یافته (بازدید کنندگان) در نمونه می توانید اطلاعات است که همیشه در ورودی ویژگی در دسترس نیست فراهم آورده است. بنابراین، رویکرد آموزشی مشترک (با هر دو سیگنال ساختار و ویژگی های) نشان داده شده است به بهتر بسیاری از روش های موجود (که در آموزش با ویژگی های تکیه) در طیف گسترده ای از وظایف، مانند طبقه بندی سند و طبقه بندی هدف های معنایی ( بویی و همکاران .، WSDM'18 و Kipf و همکاران، ICLR'17 ).
- پایداری: مدل های آموزش دیده با نمونه های خصمانه نشان داده شده است که مقاوم در برابر آشفتگی خصمانه طراحی شده برای گمراه کننده پیش بینی یک مدل یا طبقه بندی ( GOODFELLOW و همکاران، ICLR'15. و Miyato و همکاران، ICLR'16. ). هنگامی که تعدادی از نمونه های آموزشی کوچک است، آموزش با مثال خصمانه نیز بهبود دقت و صحت مدل کمک می کند تا ( سیپراس و همکاران، ICLR'19 ).
- کمتر داده برچسب مورد نیاز: NSL شبکه های عصبی را قادر می سازد به مهار هر دو داده نشاندار و نشاندار، که گسترش پارادایم یادگیری به یادگیری نیمهنظارتی . به طور خاص، NSL به شبکه اجازه میدهد تا با استفاده از دادههای برچسبگذاری شده مانند تنظیمات نظارتشده، آموزش ببیند، و در عین حال شبکه را به یادگیری نمایشهای پنهان مشابه برای «نمونههای همسایه» که ممکن است دارای برچسب باشند یا نداشته باشند، هدایت میکند. این تکنیک وعده های بزرگ برای بهبود دقت و صحت مدل زمانی که مقدار داده برچسب نسبتا کوچک است نشان داده است ( بویی و همکاران، WSDM'18 و Miyato و همکاران، ICLR'16 ).
آموزش های گام به گام
برای به دست آوردن تجربه عملی با یادگیری ساختاریافته عصبی، ما آموزش هایی داریم که سناریوهای مختلفی را پوشش می دهد که در آن سیگنال های ساخت یافته ممکن است به صراحت داده شوند، ساخته شوند یا القا شوند. چندتایی این جاست:
تنظیم نمودار برای طبقه بندی سند با استفاده از نمودار های طبیعی . در این آموزش، استفاده از منظمسازی گراف را برای طبقهبندی اسنادی که یک نمودار طبیعی (ارگانیک) را تشکیل میدهند، بررسی میکنیم.
تنظیم نمودار برای طبقه بندی احساسات با استفاده از نمودار سنتز . در این آموزش، ما استفاده از منظمسازی گراف را برای طبقهبندی احساسات مرور فیلم با ساخت (ترکیب) سیگنالهای ساختاری نشان میدهیم.
یادگیری خصمانه برای طبقه بندی تصویر . در این آموزش، استفاده از یادگیری متخاصم (که در آن سیگنالهای ساختاریافته القا میشوند) برای طبقهبندی تصاویر حاوی ارقام عددی را بررسی میکنیم.
مثال ها و آموزش های بیشتر را می توان در یافت نمونه دایرکتوری از مخزن گیتهاب ما است.