Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

Kerangka Pembelajaran Terstruktur Saraf

Neural Structured Learning (NSL) berfokus pada pelatihan jaringan saraf dalam dengan memanfaatkan sinyal terstruktur (jika tersedia) bersama dengan input fitur. Seperti yang diperkenalkan oleh Bui et al. (WSDM'18) , sinyal terstruktur ini digunakan untuk mengatur pelatihan jaringan saraf, memaksa model untuk mempelajari prediksi yang akurat (dengan meminimalkan kerugian yang diawasi), sementara pada saat yang sama mempertahankan kesamaan struktural input (dengan meminimalkan kehilangan tetangga) , lihat gambar di bawah). Teknik ini generik dan dapat diterapkan pada arsitektur saraf sewenang-wenang (seperti Feed-forward NNs, NNs Konvolusional, dan NNs Berulang).

Konsep NSL

Perhatikan bahwa persamaan kerugian tetangga umum adalah fleksibel dan dapat memiliki bentuk lain selain yang diilustrasikan di atas. Misalnya, kita juga bisa memilih

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

menjadi kerugian tetangga, yang menghitung jarak antara kebenaran dasar

$$ y_i $$

dan prediksi dari tetangga

$$ g_ \ theta (x_j) $$

. Ini biasanya digunakan dalam pembelajaran permusuhan (Goodfellow et al., ICLR'15) . Oleh karena itu, NSL menggeneralisasi ke Neural Graph Learning jika tetangga secara eksplisit diwakili oleh grafik, dan untuk Pembelajaran Adversarial jika tetangga secara implisit diinduksi oleh gangguan permusuhan.

Alur kerja keseluruhan untuk Pembelajaran Terstruktur Saraf diilustrasikan di bawah ini. Panah hitam mewakili alur kerja pelatihan konvensional dan panah merah mewakili alur kerja baru yang diperkenalkan oleh NSL untuk memanfaatkan sinyal terstruktur. Pertama, sampel pelatihan ditambah untuk menyertakan sinyal terstruktur. Ketika sinyal terstruktur tidak disediakan secara eksplisit, mereka dapat dibangun atau diinduksi (yang terakhir berlaku untuk pembelajaran permusuhan). Selanjutnya, sampel pelatihan yang ditambah (termasuk sampel asli dan tetangga yang sesuai) diumpankan ke jaringan saraf untuk menghitung embeddings mereka. Jarak antara embedding sampel dan embedding tetangganya dihitung dan digunakan sebagai kehilangan tetangga, yang diperlakukan sebagai istilah regularisasi dan ditambahkan ke kerugian akhir. Untuk regularisasi berbasis tetangga eksplisit, kami biasanya menghitung kerugian tetangga sebagai jarak antara embedding sampel dan embedding tetangga. Namun, setiap lapisan jaringan saraf dapat digunakan untuk menghitung kerugian tetangga. Di sisi lain, untuk regularisasi berbasis tetangga diinduksi (permusuhan), kami menghitung kerugian tetangga sebagai jarak antara prediksi keluaran tetangga bermusuhan yang diinduksi dan label kebenaran dasar.

Alur kerja NSL

Mengapa menggunakan NSL?

NSL membawa keuntungan sebagai berikut:

  • Akurasi yang lebih tinggi : sinyal terstruktur di antara sampel dapat memberikan informasi yang tidak selalu tersedia dalam input fitur; Oleh karena itu, pendekatan pelatihan bersama (dengan sinyal dan fitur terstruktur) telah terbukti mengungguli banyak metode yang ada (yang hanya mengandalkan pelatihan dengan fitur) pada berbagai tugas, seperti klasifikasi dokumen dan klasifikasi maksud semantik ( Bui et al. ., WSDM'18 & Kipf et al., ICLR'17 ).
  • Robustness : model yang dilatih dengan contoh permusuhan telah terbukti kuat terhadap gangguan permusuhan yang dirancang untuk menyesatkan prediksi atau klasifikasi model ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Ketika jumlah sampel pelatihan kecil, pelatihan dengan contoh permusuhan juga membantu meningkatkan akurasi model ( Tsipras et al., ICLR'19 ).
  • Diperlukan data yang kurang berlabel : NSL memungkinkan jaringan saraf untuk memanfaatkan data yang berlabel dan tidak berlabel, yang memperluas paradigma pembelajaran menjadi pembelajaran semi-diawasi . Secara khusus, NSL memungkinkan jaringan untuk berlatih menggunakan data berlabel seperti pada pengaturan yang diawasi, dan pada saat yang sama mendorong jaringan untuk mempelajari representasi tersembunyi serupa untuk "sampel tetangga" yang mungkin atau mungkin tidak memiliki label. Teknik ini telah menunjukkan harapan besar untuk meningkatkan akurasi model ketika jumlah data berlabel relatif kecil ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

Tutorial Langkah-demi-Langkah

Untuk mendapatkan pengalaman langsung dengan Neural Structured Learning, kami memiliki tiga tutorial yang mencakup berbagai skenario di mana sinyal terstruktur dapat secara eksplisit diberikan, diinduksi atau dibangun: