Sinirsel Yapılandırılmış Öğrenme Çerçevesi

Sinirsel Yapılandırılmış Öğrenme (NSL), özellik girişleriyle birlikte yapılandırılmış sinyallerden (mevcut olduğunda) yararlanarak derin sinir ağlarının eğitilmesine odaklanır. Bui ve ark. (WSDM'18) uyarınca , bu yapılandırılmış sinyaller bir sinir ağının eğitimini düzenlemek için kullanılır, modeli doğru tahminler öğrenmeye zorlar (denetlenen kaybı en aza indirerek) ve aynı zamanda girdi yapısal benzerliğini korur (komşu kaybını en aza indirerek) , aşağıdaki şekle bakın). Bu teknik geneldir ve isteğe bağlı sinir mimarilerine (ileri beslemeli YSA'lar, Evrişimli YSA'lar ve Tekrarlayan YSA'lar gibi) uygulanabilir.

NSL Konsepti

Genelleştirilmiş komşu kaybı denkleminin esnek olduğunu ve yukarıda gösterilenin dışında başka formlara da sahip olabileceğini unutmayın. Örneğin, komşu kaybı olarak\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) de seçebiliriz; bu, temel gerçek \(y_i\)ile komşu \(g_\theta(x_j)\)gelen tahmin arasındaki mesafeyi hesaplar. Bu, çekişmeli öğrenmede yaygın olarak kullanılır (Goodfellow ve diğerleri, ICLR'15) . Bu nedenle NSL, eğer komşular açıkça bir grafikle temsil ediliyorsa Nöral Grafik Öğrenimini ve eğer komşular örtülü olarak çekişmeli tedirginlik tarafından tetikleniyorsa Çekişmeli Öğrenmeyi genelleştirir.

Sinirsel Yapılandırılmış Öğrenmenin genel iş akışı aşağıda gösterilmektedir. Siyah oklar geleneksel eğitim iş akışını temsil eder ve kırmızı oklar, NSL tarafından yapılandırılmış sinyallerden yararlanmak için sunulan yeni iş akışını temsil eder. İlk olarak, eğitim örnekleri yapılandırılmış sinyalleri içerecek şekilde genişletilir. Yapılandırılmış sinyaller açıkça sağlanmadığında, bunlar ya oluşturulabilir ya da tetiklenebilir (ikincisi çekişmeli öğrenme için geçerlidir). Daha sonra, artırılmış eğitim örnekleri (hem orijinal örnekler hem de bunlara karşılık gelen komşuları dahil), yerleştirmelerinin hesaplanması için sinir ağına beslenir. Bir numunenin gömülmesi ile komşusunun gömülmesi arasındaki mesafe hesaplanır ve komşu kaybı olarak kullanılır; bu, bir düzenleme terimi olarak ele alınır ve nihai kayba eklenir. Açık komşu bazlı düzenleme için, genellikle komşu kaybını, örneğin gömülmesi ile komşunun gömülmesi arasındaki mesafe olarak hesaplarız. Ancak sinir ağının herhangi bir katmanı komşu kaybını hesaplamak için kullanılabilir. Öte yandan, uyarılmış komşu bazlı düzenleme (düşman) için, komşu kaybını, uyarılmış rakip komşunun çıktı tahmini ile temel doğruluk etiketi arasındaki mesafe olarak hesaplıyoruz.

NSL iş akışı

NSL'yi neden kullanmalısınız?

NSL aşağıdaki avantajları sağlar:

  • Daha yüksek doğruluk : Örnekler arasındaki yapılandırılmış sinyal(ler), özellik girişlerinde her zaman mevcut olmayan bilgileri sağlayabilir; bu nedenle, ortak eğitim yaklaşımının (hem yapılandırılmış sinyaller hem de özelliklerle birlikte), belge sınıflandırması ve anlamsal amaç sınıflandırması gibi çok çeşitli görevlerde (yalnızca özelliklerle eğitime dayanan) mevcut birçok yöntemden daha iyi performans gösterdiği gösterilmiştir ( Bui ve ark. ., WSDM'18 ve Kipf ve arkadaşları, ICLR'17 ).
  • Sağlamlık : Karşıt örneklerle eğitilmiş modellerin, bir modelin tahminini veya sınıflandırmasını yanıltmak için tasarlanmış olumsuz tedirginliklere karşı dayanıklı olduğu gösterilmiştir ( Goodfellow ve diğerleri, ICLR'15 & Miyato ve diğerleri, ICLR'16 ). Eğitim örneklerinin sayısı az olduğunda, rakip örneklerle eğitim aynı zamanda model doğruluğunun geliştirilmesine de yardımcı olur ( Tsipras ve diğerleri, ICLR'19 ).
  • Daha az etiketli veri gerekli : NSL, sinir ağlarının hem etiketli hem de etiketsiz verilerden yararlanmasını sağlar, bu da öğrenme paradigmasını yarı denetimli öğrenmeye kadar genişletir. Spesifik olarak NSL, ağın denetlenen ortamda olduğu gibi etiketli verileri kullanarak eğitim almasına olanak tanır ve aynı zamanda ağı, etiketlere sahip olan veya olmayan "komşu örnekler" için benzer gizli gösterimleri öğrenmeye yönlendirir. Bu teknik, etiketli veri miktarı nispeten küçük olduğunda model doğruluğunun iyileştirilmesi konusunda büyük umut vaat etmektedir ( Bui ve diğerleri, WSDM'18 & Miyato ve diğerleri, ICLR'16 ).

Adım Adım Öğreticiler

Sinirsel Yapılandırılmış Öğrenme konusunda uygulamalı deneyim elde etmek için, yapılandırılmış sinyallerin açıkça verilebildiği, oluşturulabildiği veya tetiklenebildiği çeşitli senaryoları kapsayan eğitimlerimiz bulunmaktadır. Burda biraz var:

Daha fazla örnek ve öğreticiyi GitHub depomuzun örnekler dizininde bulabilirsiniz.