Pembelajaran Terstruktur Neural (NSL) berfokus pada pelatihan jaringan saraf dalam dengan memanfaatkan sinyal terstruktur (bila tersedia) bersama dengan input fitur. Seperti yang diperkenalkan oleh Bui et al. (WSDM'18) , sinyal terstruktur ini digunakan untuk mengatur pelatihan jaringan saraf, memaksa model untuk mempelajari prediksi yang akurat (dengan meminimalkan kerugian yang diawasi), sementara pada saat yang sama mempertahankan kesamaan struktural input (dengan meminimalkan kerugian tetangga , lihat gambar di bawah). Teknik ini generik dan dapat diterapkan pada arsitektur saraf arbitrer (seperti NN Feed-forward, NN Convolutional, dan NN Berulang).
Perhatikan bahwa persamaan kerugian tetangga yang digeneralisasi bersifat fleksibel dan dapat memiliki bentuk lain selain yang diilustrasikan di atas. Sebagai contoh, kita juga dapat memilih\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) untuk menjadi tetangga yang hilang, yang menghitung jarak antara kebenaran dasar \(y_i\)dan prediksi dari tetangga \(g_\theta(x_j)\). Ini biasanya digunakan dalam pembelajaran permusuhan (Goodfellow et al., ICLR'15) . Oleh karena itu, NSL digeneralisasi ke Neural Graph Learning jika tetangga secara eksplisit diwakili oleh grafik, dan ke Adversarial Learning jika tetangga secara implisit diinduksi oleh gangguan adversarial.
Alur kerja keseluruhan untuk Pembelajaran Terstruktur Saraf diilustrasikan di bawah ini. Panah hitam mewakili alur kerja pelatihan konvensional dan panah merah mewakili alur kerja baru seperti yang diperkenalkan oleh NSL untuk memanfaatkan sinyal terstruktur. Pertama, sampel pelatihan ditambah untuk memasukkan sinyal terstruktur. Ketika sinyal terstruktur tidak diberikan secara eksplisit, mereka dapat dibangun atau diinduksi (yang terakhir berlaku untuk pembelajaran permusuhan). Selanjutnya, sampel pelatihan yang diperbesar (termasuk sampel asli dan tetangga yang sesuai) diumpankan ke jaringan saraf untuk menghitung embeddingsnya. Jarak antara penyisipan sampel dan penyematan tetangganya dihitung dan digunakan sebagai kerugian tetangga, yang diperlakukan sebagai istilah regularisasi dan ditambahkan ke kerugian akhir. Untuk regularisasi berbasis tetangga eksplisit, kami biasanya menghitung kerugian tetangga sebagai jarak antara embedding sampel dan embedding tetangga. Namun, setiap lapisan jaringan saraf dapat digunakan untuk menghitung kerugian tetangga. Di sisi lain, untuk regularisasi berbasis tetangga yang diinduksi (permusuhan), kami menghitung kerugian tetangga sebagai jarak antara prediksi keluaran dari tetangga permusuhan yang diinduksi dan label kebenaran dasar.
Mengapa menggunakan NSL?
NSL membawa keuntungan sebagai berikut:
- Akurasi yang lebih tinggi : sinyal terstruktur di antara sampel dapat memberikan informasi yang tidak selalu tersedia dalam input fitur; oleh karena itu, pendekatan pelatihan bersama (dengan sinyal dan fitur terstruktur) telah terbukti mengungguli banyak metode yang ada (yang mengandalkan pelatihan dengan fitur saja) pada berbagai tugas, seperti klasifikasi dokumen dan klasifikasi maksud semantik ( Bui et al. ., WSDM'18 & Kipf et al., ICLR'17 ).
- Kekokohan : model yang dilatih dengan contoh permusuhan telah terbukti kuat terhadap gangguan permusuhan yang dirancang untuk menyesatkan prediksi atau klasifikasi model ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Ketika jumlah sampel pelatihan kecil, pelatihan dengan contoh permusuhan juga membantu meningkatkan akurasi model ( Tsipras et al., ICLR'19 ).
- Diperlukan lebih sedikit data berlabel : NSL memungkinkan jaringan saraf untuk memanfaatkan data berlabel dan tidak berlabel, yang memperluas paradigma pembelajaran ke pembelajaran semi-diawasi . Secara khusus, NSL memungkinkan jaringan untuk berlatih menggunakan data berlabel seperti dalam pengaturan yang diawasi, dan pada saat yang sama mendorong jaringan untuk mempelajari representasi tersembunyi serupa untuk "sampel tetangga" yang mungkin atau mungkin tidak memiliki label. Teknik ini telah menunjukkan harapan besar untuk meningkatkan akurasi model ketika jumlah data berlabel relatif kecil ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).
Tutorial langkah demi langkah
Untuk mendapatkan pengalaman langsung dengan Pembelajaran Terstruktur Neural, kami memiliki tutorial yang mencakup berbagai skenario di mana sinyal terstruktur dapat diberikan, dibangun, atau diinduksi secara eksplisit. Berikut adalah beberapa:
Regularisasi graf untuk klasifikasi dokumen menggunakan graf natural . Dalam tutorial ini, kami mengeksplorasi penggunaan regularisasi graf untuk mengklasifikasikan dokumen yang membentuk graf natural (organik).
Regularisasi grafik untuk klasifikasi sentimen menggunakan grafik yang disintesis . Dalam tutorial ini, kami mendemonstrasikan penggunaan regularisasi grafik untuk mengklasifikasikan sentimen ulasan film dengan membangun (mensintesis) sinyal terstruktur.
Pembelajaran permusuhan untuk klasifikasi gambar . Dalam tutorial ini, kami mengeksplorasi penggunaan pembelajaran permusuhan (di mana sinyal terstruktur diinduksi) untuk mengklasifikasikan gambar yang berisi angka numerik.
Lebih banyak contoh dan tutorial dapat ditemukan di direktori contoh repositori GitHub kami.