Pangkas bobot yang tidak signifikan

Dikelola oleh Pengoptimalan Model TensorFlow

Dokumen ini memberikan gambaran umum tentang pemangkasan model untuk membantu Anda menentukan kesesuaiannya dengan kasus penggunaan Anda.

Gambaran

Pemangkasan bobot berbasis besaran secara bertahap menihilkan bobot model selama proses pelatihan untuk mencapai ketersebaran model. Model renggang lebih mudah untuk dikompres, dan kita dapat melewatkan nol selama inferensi untuk peningkatan latensi.

Teknik ini membawa perbaikan melalui kompresi model. Di masa mendatang, dukungan framework untuk teknik ini akan memberikan peningkatan latensi. Kami telah melihat hingga 6x peningkatan dalam kompresi model dengan hilangnya akurasi minimal.

Teknik ini sedang dievaluasi dalam berbagai aplikasi ucapan, seperti pengenalan ucapan dan text-to-speech, dan telah diujicobakan di berbagai model visi dan terjemahan.

Matriks Kompatibilitas API

Pengguna dapat menerapkan pemangkasan dengan API berikut:

  • tf.keras model: tf.keras dengan hanya model Berurutan dan Fungsional
  • Versi TensorFlow: TF 1.x untuk versi 1.14+ dan 2.x.
    • tf.compat.v1 dengan paket TF 2.X dan tf.compat.v2 dengan paket TF 1.X tidak didukung.
  • Mode eksekusi TensorFlow: grafik dan eager
  • Pelatihan terdistribusi: tf.distribute hanya dengan eksekusi grafik

Ini ada di peta jalan kami untuk menambahkan dukungan di area berikut:

Hasil

Klasifikasi Gambar

Model Akurasi Top-1 Non-sparse Akurasi Renggang Ketersebaran
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71,04% 70,84% 50%

Model diuji pada Imagenet.

Terjemahan

Model BLEU tidak jarang BLEU jarang Ketersebaran
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

Model menggunakan dataset WMT16 Jerman dan Inggris dengan news-test2013 sebagai dev set dan news-test2015 sebagai test set.

Contoh

Selain tutorial Pangkas dengan Keras , lihat contoh berikut:

  • Latih model CNN pada tugas klasifikasi digit tulisan tangan MNIST dengan pemangkasan: kode
  • Latih LSTM pada tugas klasifikasi sentimen IMDB dengan pemangkasan: kode

Untuk latar belakang, lihat Untuk memangkas, atau tidak memangkas: mengeksplorasi efektivitas pemangkasan untuk kompresi model [ kertas ].