Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

bobot signifikan langsing

Dikelola oleh TensorFlow Model Optimasi

Dokumen ini memberikan gambaran pada model pemangkasan untuk membantu Anda menentukan bagaimana hal itu cocok dengan kasus penggunaan Anda.

Gambaran

berat berdasarkan SR pemangkasan secara bertahap nol keluar model yang berat selama proses pelatihan untuk mencapai sparsity Model. model jarang lebih mudah untuk kompres, dan kami dapat melewati nol selama inferensi untuk perbaikan latency.

Teknik ini membawa perbaikan melalui kompresi Model. Di masa depan, dukungan kerangka kerja untuk teknik ini akan memberikan perbaikan latency. Kami telah melihat sampai 6x perbaikan dalam kompresi model dengan kehilangan minimal akurasi.

Teknik ini sedang dievaluasi dalam berbagai aplikasi speech, seperti pengenalan suara dan teks-to-speech, dan telah bereksperimen pada di berbagai visi dan terjemahan model.

API Kompatibilitas Matrix

Pengguna dapat menerapkan pemangkasan dengan API berikut:

  • Model bangunan: tf.keras dengan hanya Sequential dan model Fungsional
  • versi TensorFlow: TF 1.x untuk versi 1.14+ dan 2.x.
    • tf.compat.v1 dengan paket TF 2.x dan tf.compat.v2 dengan paket 1.X TF tidak didukung.
  • modus eksekusi TensorFlow: baik grafik dan bersemangat
  • Didistribusikan pelatihan: tf.distribute dengan hanya eksekusi grafik

Hal ini pada roadmap kami untuk menambahkan dukungan dalam bidang berikut:

hasil

Klasifikasi citra

Model Non-jarang Top-1 Akurasi Akurasi jarang sparsity
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71,04% 70,84% 50%

Model diuji pada Imagenet.

Terjemahan

Model Non-jarang BLEU jarang BLEU sparsity
GNMT EN-DE 26,77 26,86 80%
26.52 85%
26,19 90%
GNMT DE-EN 29,47 29.50 80%
29.24 85%
28,81 90%

Model menggunakan WMT16 Jerman dan dataset bahasa Inggris dengan berita-test2013 sebagai dev set dan berita-test2015 sebagai test set.

contoh

Selain Prune dengan Keras tutorial, lihat contoh berikut:

  • Melatih model CNN pada MNIST tulisan tangan digit tugas klasifikasi dengan pemangkasan: kode
  • Melatih LSTM di IMDB sentimen tugas klasifikasi dengan pemangkasan: kode

Untuk latar belakang, lihat Untuk prune, atau tidak untuk memangkas: menjelajahi khasiat pemangkasan untuk model kompresi [ kertas ].