Google I/O is a wrap! Catch up on TensorFlow sessions View sessions

Kerangka Pembelajaran Terstruktur Saraf

Pembelajaran Terstruktur Neural (NSL) berfokus pada pelatihan jaringan saraf dalam dengan memanfaatkan sinyal terstruktur (bila tersedia) bersama dengan input fitur. Seperti diperkenalkan oleh Bui et al. (WSDM'18) , ini sinyal terstruktur digunakan untuk mengatur pelatihan jaringan saraf, memaksa model untuk belajar prediksi yang akurat (dengan meminimalkan kerugian diawasi), sementara pada saat yang sama menjaga input kesamaan struktural (dengan meminimalkan kerugian tetangga , lihat gambar di bawah). Teknik ini generik dan dapat diterapkan pada arsitektur saraf arbitrer (seperti NN Feed-forward, NN Convolutional, dan NN Berulang).

Konsep NSL

Perhatikan bahwa persamaan kerugian tetangga umum fleksibel dan dapat memiliki bentuk lain selain yang diilustrasikan di atas. Sebagai contoh, kami juga dapat memilih\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) menjadi kerugian tetangga, yang menghitung jarak antara tanah kebenaran \(y_i\)dan prediksi dari tetangga \(g_\theta(x_j)\). Hal ini umumnya digunakan dalam pembelajaran adversarial (Goodfellow et al., ICLR'15) . Oleh karena itu, NSL generalizes untuk Neural Grafik Belajar jika tetangga secara eksplisit diwakili oleh grafik, dan untuk Adversarial Belajar jika tetangga secara implisit disebabkan oleh gangguan permusuhan.

Alur kerja keseluruhan untuk Pembelajaran Terstruktur Saraf diilustrasikan di bawah ini. Panah hitam mewakili alur kerja pelatihan konvensional dan panah merah mewakili alur kerja baru seperti yang diperkenalkan oleh NSL untuk memanfaatkan sinyal terstruktur. Pertama, sampel pelatihan ditambah untuk memasukkan sinyal terstruktur. Ketika sinyal terstruktur tidak diberikan secara eksplisit, mereka dapat dibangun atau diinduksi (yang terakhir berlaku untuk pembelajaran permusuhan). Selanjutnya, sampel pelatihan yang diperbesar (termasuk sampel asli dan tetangga terkaitnya) diumpankan ke jaringan saraf untuk menghitung embeddingnya. Jarak antara penyisipan sampel dan penyematan tetangganya dihitung dan digunakan sebagai kerugian tetangga, yang diperlakukan sebagai istilah regularisasi dan ditambahkan ke kerugian akhir. Untuk regularisasi berbasis tetangga eksplisit, kami biasanya menghitung kerugian tetangga sebagai jarak antara embedding sampel dan embedding tetangga. Namun, setiap lapisan jaringan saraf dapat digunakan untuk menghitung kerugian tetangga. Di sisi lain, untuk regularisasi berbasis tetangga yang diinduksi (permusuhan), kami menghitung kerugian tetangga sebagai jarak antara prediksi keluaran dari tetangga permusuhan yang diinduksi dan label kebenaran dasar.

alur kerja NSL

Mengapa menggunakan NSL?

NSL membawa keuntungan sebagai berikut:

  • Akurasi yang lebih tinggi: sinyal terstruktur (s) antara sampel dapat memberikan informasi yang tidak selalu tersedia di input fitur; Oleh karena itu, pendekatan pelatihan bersama (dengan kedua sinyal terstruktur dan fitur) telah ditunjukkan untuk mengungguli banyak metode yang ada (yang mengandalkan pelatihan dengan fitur hanya) pada berbagai tugas, seperti klasifikasi dokumen dan klasifikasi niat semantik ( Bui et al ., WSDM'18 & Kipf et al., ICLR'17 ).
  • Kekokohan: model dilatih dengan contoh-contoh permusuhan telah terbukti tahan terhadap gangguan permusuhan dirancang untuk menyesatkan prediksi model atau klasifikasi ( Goodfellow et al, ICLR'15. & Miyato et al, ICLR'16. ). Ketika jumlah sampel pelatihan kecil, pelatihan dengan contoh-contoh permusuhan juga membantu meningkatkan akurasi Model ( Tsipras et al., ICLR'19 ).
  • Kurang Data label yang diperlukan: NSL memungkinkan jaringan saraf untuk memanfaatkan baik data berlabel dan tidak berlabel, yang memperpanjang paradigma pembelajaran untuk belajar semi-diawasi . Secara khusus, NSL memungkinkan jaringan untuk berlatih menggunakan data berlabel seperti dalam pengaturan yang diawasi, dan pada saat yang sama mendorong jaringan untuk mempelajari representasi tersembunyi serupa untuk "sampel tetangga" yang mungkin atau mungkin tidak memiliki label. Teknik ini telah menjanjikan untuk meningkatkan akurasi model yang saat jumlah data diberi label relatif kecil ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

Tutorial langkah demi langkah

Untuk mendapatkan pengalaman langsung dengan Pembelajaran Terstruktur Neural, kami memiliki tutorial yang mencakup berbagai skenario di mana sinyal terstruktur dapat diberikan, dibangun, atau diinduksi secara eksplisit. Berikut adalah beberapa:

Lebih banyak contoh dan tutorial dapat ditemukan dalam contoh direktori repositori GitHub kami.