Sinirsel Yapılandırılmış Öğrenme Çerçevesi

Sinirsel Yapılandırılmış Öğrenme (NSL), yapılandırılmış sinyalleri (mevcut olduğunda) özellik girişleriyle birlikte kullanarak derin sinir ağlarını eğitmeye odaklanır. Bui ve ark. (WSDM'18) , bu yapılandırılmış sinyaller, bir sinir ağının eğitimini düzenlemek için kullanılır, modeli doğru tahminleri öğrenmeye zorlar (denetimli kaybı en aza indirerek) ve aynı zamanda giriş yapısal benzerliğini korur (komşu kaybını en aza indirerek) aşağıdaki şekle bakın). Bu teknik geneldir ve gelişigüzel sinir mimarilerine uygulanabilir (İleri Beslemeli NN'ler, Evrişimli NN'ler ve Tekrarlayan NN'ler gibi).

NSL Konsepti

Genelleştirilmiş komşu kayıp denkleminin esnek olduğunu ve yukarıda gösterilenin dışında başka formlara da sahip olabileceğini unutmayın. Örneğin, biz de seçebiliriz

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

zemin gerçeği arasındaki mesafeyi hesaplayan komşu kaybı olmak

$$y_i$$

ve komşudan gelen tahmin

$$g_\theta(x_j)$$

. Bu, karşıt öğrenmede yaygın olarak kullanılmaktadır (Goodfellow ve diğerleri, ICLR'15) . Bu nedenle, NSL, komşular açık bir şekilde bir grafikle temsil ediliyorsa Sinirsel Grafik Öğrenmeye ve komşular örtük olarak düşmanca tedirginlikten kaynaklanıyorsa Tartışmalı Öğrenmeye genelleştirir.

Sinirsel Yapılandırılmış Öğrenme için genel iş akışı aşağıda gösterilmektedir. Siyah oklar, geleneksel eğitim iş akışını temsil eder ve kırmızı oklar, yapılandırılmış sinyallerden yararlanmak için NSL tarafından sunulan yeni iş akışını temsil eder. İlk olarak, eğitim örnekleri yapılandırılmış sinyalleri içerecek şekilde artırılır. Yapılandırılmış sinyaller açıkça sağlanmadığında, bunlar oluşturulabilir veya indüklenebilir (ikincisi çekişmeli öğrenme için geçerlidir). Daha sonra, artırılmış eğitim örnekleri (hem orijinal örnekler hem de karşılık gelen komşuları dahil), yerleştirmelerini hesaplamak için sinir ağına beslenir. Bir numunenin gömülmesi ile komşusunun gömülmesi arasındaki mesafe hesaplanır ve bir düzenlileştirme terimi olarak değerlendirilen ve nihai kayba eklenen komşu kaybı olarak kullanılır. Açık komşu tabanlı düzenleme için, tipik olarak komşu kaybını örneğin gömülmesi ile komşunun gömmesi arasındaki mesafe olarak hesaplıyoruz. Bununla birlikte, sinir ağının herhangi bir katmanı, komşu kaybını hesaplamak için kullanılabilir. Öte yandan, uyarılmış komşu temelli düzenleme (hasım) için, komşu kaybını, uyarılmış karşıt komşunun çıktı tahmini ile yer gerçeği etiketi arasındaki mesafe olarak hesaplıyoruz.

NSL iş akışı

NSL neden kullanılmalı?

NSL aşağıdaki avantajları sağlar:

  • Daha yüksek doğruluk : Örnekler arasındaki yapılandırılmış sinyal (ler), özellik girişlerinde her zaman bulunmayan bilgileri sağlayabilir; bu nedenle, ortak eğitim yaklaşımının (hem yapılandırılmış sinyaller hem de özelliklerle birlikte), belge sınıflandırması ve anlamsal amaç sınıflandırması gibi çok çeşitli görevlerde mevcut birçok yöntemi (yalnızca özelliklerle eğitime dayanan) daha iyi performans gösterdiği gösterilmiştir ( Bui ve ark. ., WSDM'18 & Kipf ve diğerleri, ICLR'17 ).
  • Sağlamlık : rakip örneklerle eğitilen modellerin, bir modelin öngörüsünü veya sınıflandırmasını yanıltmak için tasarlanmış karşıt karışıklıklara karşı dayanıklı olduğu gösterilmiştir ( Goodfellow ve diğerleri, ICLR'15 & Miyato ve diğerleri, ICLR'16 ). Eğitim örneklerinin sayısı az olduğunda, rakip örneklerle eğitim de model doğruluğunu iyileştirmeye yardımcı olur ( Tsipras ve diğerleri, ICLR'19 ).
  • Daha az etiketli veri gerekir : NSL, sinir ağlarının hem etiketli hem de etiketlenmemiş verileri kullanmasını sağlar, bu da öğrenme paradigmasını yarı denetimli öğrenmeye genişletir. Spesifik olarak, NSL, ağın, denetlenen ayarda olduğu gibi etiketli verileri kullanarak eğitmesine izin verir ve aynı zamanda ağı, etiketlere sahip olabilen veya olmayabilen "komşu örnekler" için benzer gizli gösterimleri öğrenmeye yönlendirir. Bu teknik, etiketlenmiş veri miktarı nispeten küçük olduğunda model doğruluğunun iyileştirilmesi için büyük umut verdi ( Bui ve diğerleri, WSDM'18 & Miyato ve diğerleri, ICLR'16 ).

Adım adım öğreticiler

Sinirsel Yapılandırılmış Öğrenme ile uygulamalı deneyim elde etmek için, yapılandırılmış sinyallerin açıkça verilebileceği, uyarılabileceği veya oluşturulabileceği çeşitli senaryoları kapsayan üç öğreticimiz var: