Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

The Neural Structured Learning Framework

Neural Structured Learning (NSL) berfokus pada pelatihan jaringan neural dalam dengan memanfaatkan sinyal terstruktur (jika tersedia) bersama dengan masukan fitur. Seperti yang diperkenalkan oleh Bui et al. (WSDM'18) , sinyal terstruktur ini digunakan untuk mengatur pelatihan jaringan saraf, memaksa model untuk mempelajari prediksi yang akurat (dengan meminimalkan kerugian yang diawasi), sementara pada saat yang sama mempertahankan kesamaan struktural masukan (dengan meminimalkan kerugian tetangga , lihat gambar di bawah). Teknik ini bersifat umum dan dapat diterapkan pada arsitektur neural arbitrer (seperti Feed-forward NNs, Convolutional NNs, dan Recurrent NNs).

Konsep NSL

Perhatikan bahwa persamaan kerugian tetangga umum fleksibel dan dapat memiliki bentuk lain selain yang diilustrasikan di atas. Misalnya, kita juga bisa memilih

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

menjadi kerugian tetangga, yang menghitung jarak antara kebenaran dasar

$$y_i$$

dan prediksi dari tetangga

$$g_\theta(x_j)$$

. Ini biasanya digunakan dalam pembelajaran adversarial (Goodfellow et al., ICLR'15) . Oleh karena itu, NSL menggeneralisasi Pembelajaran Grafik Neural jika tetangga secara eksplisit diwakili oleh grafik, dan Pembelajaran Adversarial jika tetangga secara implisit diinduksi oleh gangguan permusuhan.

Alur kerja keseluruhan untuk Pembelajaran Terstruktur Neural diilustrasikan di bawah ini. Panah hitam mewakili alur kerja pelatihan konvensional dan panah merah mewakili alur kerja baru seperti yang diperkenalkan oleh NSL untuk memanfaatkan sinyal terstruktur. Pertama, sampel pelatihan ditambah untuk menyertakan sinyal terstruktur. Ketika sinyal terstruktur tidak disediakan secara eksplisit, mereka dapat dibangun atau diinduksi (yang terakhir berlaku untuk pembelajaran adversarial). Selanjutnya, sampel pelatihan yang ditambah (termasuk sampel asli dan tetangganya yang sesuai) diumpankan ke jaringan saraf untuk menghitung sematannya. Jarak antara embedding sampel dan embedding tetangganya dihitung dan digunakan sebagai kerugian tetangga, yang diperlakukan sebagai istilah regularisasi dan ditambahkan ke kerugian akhir. Untuk regularisasi eksplisit berbasis tetangga, kami biasanya menghitung kerugian tetangga sebagai jarak antara embedding sampel dan embedding tetangga. Namun, setiap lapisan jaringan saraf dapat digunakan untuk menghitung kerugian tetangga. Di sisi lain, untuk regularisasi berbasis tetangga yang diinduksi (adversarial), kami menghitung kerugian tetangga sebagai jarak antara prediksi keluaran dari tetangga bermusuhan yang diinduksi dan label kebenaran dasar.

Alur kerja NSL

Mengapa menggunakan NSL?

NSL memberikan keuntungan sebagai berikut:

  • Akurasi lebih tinggi : sinyal terstruktur di antara sampel dapat memberikan informasi yang tidak selalu tersedia dalam input fitur; Oleh karena itu, pendekatan pelatihan bersama (dengan sinyal dan fitur terstruktur) telah terbukti mengungguli banyak metode yang ada (yang mengandalkan pelatihan dengan fitur saja) pada berbagai tugas, seperti klasifikasi dokumen dan klasifikasi maksud semantik ( Bui et al. ., WSDM'18 & Kipf dkk., ICLR'17 ).
  • Kekokohan : model yang dilatih dengan contoh permusuhan telah terbukti kuat terhadap gangguan permusuhan yang dirancang untuk menyesatkan prediksi atau klasifikasi model ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Jika jumlah sampel pelatihan kecil, pelatihan dengan contoh yang bertentangan juga membantu meningkatkan akurasi model ( Tsipras et al., ICLR'19 ).
  • Data yang kurang berlabel diperlukan : NSL memungkinkan jaringan saraf memanfaatkan data berlabel dan tidak berlabel, yang memperluas paradigma pembelajaran ke pembelajaran semi-supervisi . Secara khusus, NSL memungkinkan jaringan untuk berlatih menggunakan data berlabel seperti dalam setelan yang diawasi, dan pada saat yang sama mendorong jaringan untuk mempelajari representasi tersembunyi yang serupa untuk "sampel yang berdekatan" yang mungkin memiliki atau tidak memiliki label. Teknik ini telah menunjukkan harapan besar untuk meningkatkan akurasi model saat jumlah data berlabel relatif kecil ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

Tutorial Langkah demi Langkah

Untuk mendapatkan pengalaman langsung dengan Neural Structured Learning, kami memiliki tiga tutorial yang mencakup berbagai skenario di mana sinyal terstruktur dapat diberikan, diinduksi, atau dibangun secara eksplisit: