Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

Sinirsel Yapılandırılmış Öğrenme Çerçevesi

Sinirsel Yapılandırılmış Öğrenme (NSL), özellik girişleriyle birlikte yapılandırılmış sinyalleri (varsa) kullanarak derin sinir ağlarını eğitmeye odaklanır. Bui ve ark. (WSDM'18) , bu yapılandırılmış sinyaller bir sinir ağının eğitimini düzenli hale getirmek için kullanılır, modeli doğru tahminler öğrenmeye (denetlenen kaybı en aza indirerek) ve aynı zamanda girdi yapısal benzerliğini koruyarak (komşu kaybını en aza indirerek) , aşağıdaki şekle bakın). Bu teknik jeneriktir ve gelişigüzel nöral mimarilere (İleri Beslemeli NN'ler, Konvolüsyonel NN'ler ve Tekrarlayan NN'ler) uygulanabilir.

NSL Kavramı

Genelleştirilmiş komşu kayıp denkleminin esnek olduğunu ve yukarıda gösterilenin dışında başka formları olabileceğini unutmayın. Örneğin,

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

yer gerçeği arasındaki mesafeyi hesaplayan komşu kaybı olmak

$$ Y_I $$

ve komşunun tahmini

$$ G_ \ teta (x_j) $$

. Bu, çekişmeli öğrenmede yaygın olarak kullanılmaktadır (Goodfellow ve diğerleri, ICLR'15) . Bu nedenle, NSL komşuları açıkça bir grafikle temsil edildiyse Nöral Grafik Öğrenmeye ve komşuları dolaylı olarak adversaryal pertürbasyona bağlıysa Düşman Öğrenmeye genelleştirir.

Sinirsel Yapılandırılmış Öğrenme için genel iş akışı aşağıda gösterilmiştir. Siyah oklar geleneksel eğitim iş akışını ve kırmızı oklar da yapılandırılmış sinyallerden yararlanmak için NSL tarafından sunulan yeni iş akışını temsil eder. İlk olarak, eğitim örnekleri yapılandırılmış sinyalleri içerecek şekilde büyütülür. Yapısal sinyaller açıkça sağlanmadığında, bunlar oluşturulabilir veya uyarılabilir (ikincisi çekişmeli öğrenme için geçerlidir). Daha sonra, arttırılmış eğitim örnekleri (hem orijinal örnekler hem de karşılık gelen komşuları dahil), düğünlerini hesaplamak için sinir ağına beslenir. Bir numunenin gömülmesi ile komşusunun gömülmesi arasındaki mesafe hesaplanır ve komşu kaybı olarak kullanılır, bu da bir düzenleme süresi olarak kabul edilir ve nihai kayıplara eklenir. Açık komşu tabanlı düzenlileştirme için, genellikle komşu kaybını numunenin gömülmesi ile komşunun gömülmesi arasındaki mesafe olarak hesaplarız. Bununla birlikte, nöral ağın herhangi bir tabakası komşu kaybını hesaplamak için kullanılabilir. Öte yandan, uyarılmış komşu temelli düzenleyici (çekişmeli) için, komşu kaybını, uyarılmış çekişmeli komşunun çıktı tahmini ile yer gerçeği etiketi arasındaki mesafe olarak hesaplıyoruz.

NSL iş akışı

Neden NSL kullanıyorsunuz?

NSL aşağıdaki avantajları sağlar:

  • Daha yüksek doğruluk : numuneler arasındaki yapılandırılmış sinyal (ler), özellik girişlerinde her zaman bulunmayan bilgiler sağlayabilir; bu nedenle, ortak eğitim yaklaşımının (hem yapılandırılmış sinyaller hem de özellikler ile), belge sınıflandırması ve semantik niyet sınıflandırması ( Bui ve ark. ., WSDM'18 ve Kipf ve diğerleri, ICLR'17 ).
  • Sağlamlık : rakip örneklerle eğitilmiş modellerin, bir modelin öngörüsünü veya sınıflandırmasını yanıltmak için tasarlanan düşmanca bozulmalara karşı sağlam olduğu gösterilmiştir ( Goodfellow ve diğerleri, ICLR'15 ve Miyato ve diğerleri, ICLR'16 ). Eğitim örneklerinin sayısı az olduğunda, çekişmeli örneklerle yapılan eğitim de model doğruluğunu artırmaya yardımcı olur ( Tsipras ve diğerleri, ICLR'19 ).
  • Daha az etiketlenmiş veri gerekir : NSL, sinir ağlarının hem etiketlenmiş hem de etiketlenmemiş verileri kullanmasını sağlar ve bu da öğrenme paradigmasını yarı denetimli öğrenmeye genişletir. Özellikle, NSL, ağın denetlenen ayardaki gibi etiketli verileri kullanarak eğitim almasına izin verir ve aynı zamanda ağı, etiketleri olabilen veya içermeyen "komşu örnekler" için benzer gizli gösterimleri öğrenmeye yönlendirir. Bu teknik, etiketli veri miktarı nispeten az olduğunda model doğruluğunu iyileştirmek için büyük umut vaat etmiştir ( Bui ve diğerleri, WSDM'18 ve Miyato ve diğerleri, ICLR'16 ).

Adım Adım Eğiticiler

Sinirsel Yapısal Öğrenme ile uygulamalı deneyim elde etmek için, yapılandırılmış sinyallerin açıkça verilebileceği, indüklenebileceği veya oluşturulabileceği çeşitli senaryoları kapsayan üç öğreticimiz bulunmaktadır: