Sinirsel Yapılandırılmış Öğrenme (NSL), özellik girişleriyle birlikte yapılandırılmış sinyallerden (mümkün olduğunda) yararlanarak derin sinir ağlarını eğitmeye odaklanır. Bui ve diğerleri tarafından tanıtıldığı gibi. (WSDM'18) , bu yapılandırılmış sinyaller, bir sinir ağının eğitimini düzenli hale getirmek için kullanılır, modeli doğru tahminleri öğrenmeye zorlar (denetimli kaybı en aza indirerek), aynı zamanda giriş yapısal benzerliğini korurken (komşu kaybını en aza indirerek) , aşağıdaki şekle bakın). Bu teknik geneldir ve keyfi sinir mimarilerine (İleri Beslemeli NN'ler, Evrişimli NN'ler ve Tekrarlayan NN'ler gibi) uygulanabilir.
Genelleştirilmiş komşu kaybı denkleminin esnek olduğuna ve yukarıda gösterilenin dışında başka biçimlere sahip olabileceğine dikkat edin. Örneğin,\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) komşu kaybı olarak da seçebiliriz; bu, temel gerçek \(y_i\)tutucu2 ile komşu \(g_\theta(x_j)\)gelen tahmin arasındaki mesafeyi hesaplar. Bu, çekişmeli öğrenmede yaygın olarak kullanılır (Goodfellow ve diğerleri, ICLR'15) . Bu nedenle, NSL, komşular açıkça bir grafikle temsil ediliyorsa Nöral Grafiği Öğrenmeye ve komşular dolaylı olarak ters yönlü bozulma tarafından indükleniyorsa, Çelişkili Öğrenmeye geneller.
Nöral Yapılandırılmış Öğrenme için genel iş akışı aşağıda gösterilmiştir. Siyah oklar, geleneksel eğitim iş akışını temsil eder ve kırmızı oklar, yapılandırılmış sinyallerden yararlanmak için NSL tarafından sunulan yeni iş akışını temsil eder. İlk olarak, eğitim örnekleri yapılandırılmış sinyalleri içerecek şekilde genişletilir. Yapılandırılmış sinyaller açıkça sağlanmadığında, bunlar yapılandırılabilir veya uyarılabilir (ikincisi, çekişmeli öğrenme için geçerlidir). Daha sonra, artırılmış eğitim örnekleri (hem orijinal örnekler hem de bunlara karşılık gelen komşular dahil), gömmelerini hesaplamak için sinir ağına beslenir. Bir numunenin gömülmesi ile komşusunun gömülmesi arasındaki mesafe hesaplanır ve bir düzenleme terimi olarak kabul edilen ve nihai kayba eklenen komşu kaybı olarak kullanılır. Açık komşu tabanlı düzenlileştirme için, tipik olarak komşu kaybını, örneğin gömme ve komşu gömme arasındaki mesafe olarak hesaplarız. Ancak, sinir ağının herhangi bir katmanı komşu kaybını hesaplamak için kullanılabilir. Öte yandan, uyarılmış komşu tabanlı düzenlileştirme (düşman) için, komşu kaybını, uyarılmış rakip komşunun çıktı tahmini ile temel doğruluk etiketi arasındaki mesafe olarak hesaplıyoruz.
NSL neden kullanılır?
NSL aşağıdaki avantajları sağlar:
- Daha yüksek doğruluk : örnekler arasındaki yapılandırılmış sinyal(ler), özellik girişlerinde her zaman mevcut olmayan bilgiler sağlayabilir; bu nedenle, ortak eğitim yaklaşımının (hem yapılandırılmış sinyaller hem de özelliklerle birlikte), belge sınıflandırma ve anlamsal amaç sınıflandırması gibi çok çeşitli görevlerde (yalnızca özelliklerle eğitime dayanan) mevcut birçok yöntemden daha iyi performans gösterdiği gösterilmiştir ( Bui ve ark . ., WSDM'18 & Kipf ve diğerleri, ICLR'17 ).
- Sağlamlık : karşıt örneklerle eğitilmiş modellerin, bir modelin tahminini veya sınıflandırmasını yanıltıcı şekilde tasarlamak için tasarlanan olumsuz bozulmalara karşı sağlam olduğu gösterilmiştir ( Goodfellow ve diğerleri, ICLR'15 & Miyato ve diğerleri, ICLR'16 ). Eğitim örneklerinin sayısı az olduğunda, çekişmeli örneklerle eğitim de model doğruluğunu artırmaya yardımcı olur ( Tsipras ve diğerleri, ICLR'19 ).
- Daha az etiketli veri gerekli : NSL, sinir ağlarının hem etiketli hem de etiketsiz verileri kullanmasına olanak tanır ve bu da öğrenme paradigmasını yarı denetimli öğrenmeye genişletir. Spesifik olarak, NSL, denetimli ayarda olduğu gibi ağın etiketlenmiş verileri kullanarak eğitim almasına izin verir ve aynı zamanda, ağın, etiketleri olan veya olmayan "komşu örnekler" için benzer gizli temsilleri öğrenmesini sağlar. Bu teknik, etiketlenmiş veri miktarı nispeten küçük olduğunda model doğruluğunu geliştirmek için büyük umut vaat etmiştir ( Bui ve diğerleri, WSDM'18 & Miyato ve diğerleri, ICLR'16 ).
Adım Adım Eğitimler
Nöral Yapılandırılmış Öğrenme ile uygulamalı deneyim elde etmek için, yapılandırılmış sinyallerin açıkça verilebileceği, oluşturulabileceği veya uyarılabileceği çeşitli senaryoları kapsayan eğitimlerimiz var. Burda biraz var:
Doğal grafikler kullanarak belge sınıflandırması için grafik düzenleme . Bu öğreticide, doğal (organik) bir grafik oluşturan belgeleri sınıflandırmak için grafik düzenleme kullanımını araştırıyoruz.
Sentezlenmiş grafikler kullanarak duygu sınıflandırması için grafik düzenleme . Bu öğreticide, yapılandırılmış sinyaller oluşturarak (sentezleyerek) film inceleme duygularını sınıflandırmak için grafik düzenlemenin kullanımını gösteriyoruz.
Görüntü sınıflandırması için çekişmeli öğrenme . Bu öğreticide, sayısal rakamlar içeren görüntüleri sınıflandırmak için (yapılandırılmış sinyallerin uyarıldığı) çekişmeli öğrenmenin kullanımını araştırıyoruz.
GitHub depomuzun örnekler dizininde daha fazla örnek ve öğretici bulunabilir.