Bantuan melindungi Great Barrier Reef dengan TensorFlow pada Kaggle Bergabung Tantangan

Optimalisasi model

Perangkat tepi sering kali memiliki memori atau daya komputasi yang terbatas. Berbagai optimasi dapat diterapkan pada model sehingga dapat dijalankan dalam batasan tersebut. Selain itu, beberapa pengoptimalan memungkinkan penggunaan perangkat keras khusus untuk inferensi yang dipercepat.

TensorFlow Lite dan TensorFlow Model Optimasi Toolkit menyediakan alat-alat untuk meminimalkan kompleksitas mengoptimalkan inferensi.

Sebaiknya Anda mempertimbangkan pengoptimalan model selama proses pengembangan aplikasi Anda. Dokumen ini menguraikan beberapa praktik terbaik untuk mengoptimalkan model TensorFlow untuk penerapan ke perangkat keras edge.

Mengapa model harus dioptimalkan

Ada beberapa cara utama optimasi model dapat membantu pengembangan aplikasi.

Pengurangan ukuran

Beberapa bentuk optimasi dapat digunakan untuk mengurangi ukuran model. Model yang lebih kecil memiliki manfaat sebagai berikut:

  • Ukuran penyimpanan yang lebih kecil: model yang lebih kecil menempati ruang penyimpanan kurang pada perangkat pengguna. Misalnya, aplikasi Android yang menggunakan model yang lebih kecil akan menggunakan lebih sedikit ruang penyimpanan di perangkat seluler pengguna.
  • Lebih kecil ukuran Download: model yang lebih kecil membutuhkan lebih sedikit waktu dan bandwidth untuk men-download ke perangkat pengguna.
  • Penggunaan memori kurang: model yang lebih kecil menggunakan RAM lebih sedikit jika mereka dijalankan, yang membebaskan memori untuk bagian lain dari aplikasi Anda untuk digunakan, dan dapat menerjemahkan untuk kinerja yang lebih baik dan stabilitas.

Kuantisasi dapat mengurangi ukuran model dalam semua kasus ini, berpotensi mengorbankan beberapa akurasi. Pemangkasan dan pengelompokan dapat mengurangi ukuran model untuk diunduh dengan membuatnya lebih mudah dikompresi.

Pengurangan latensi

Latency adalah jumlah waktu yang dibutuhkan untuk menjalankan inferensi tunggal dengan model yang diberikan. Beberapa bentuk optimasi dapat mengurangi jumlah komputasi yang diperlukan untuk menjalankan inferensi menggunakan model, sehingga menghasilkan latensi yang lebih rendah. Latensi juga dapat berdampak pada konsumsi daya.

Saat ini, kuantisasi dapat digunakan untuk mengurangi latensi dengan menyederhanakan perhitungan yang terjadi selama inferensi, yang berpotensi mengorbankan beberapa akurasi.

Kompatibilitas akselerator

Beberapa akselerator hardware, seperti Ujung TPU , dapat menjalankan inferensi sangat cepat dengan model yang telah dioptimalkan dengan benar.

Umumnya, jenis perangkat ini membutuhkan model untuk dikuantisasi dengan cara tertentu. Lihat dokumentasi setiap akselerator perangkat keras untuk mempelajari lebih lanjut tentang persyaratannya.

Trade-off

Optimasi berpotensi menghasilkan perubahan dalam akurasi model, yang harus dipertimbangkan selama proses pengembangan aplikasi.

Perubahan akurasi bergantung pada model individu yang dioptimalkan, dan sulit diprediksi sebelumnya. Umumnya, model yang dioptimalkan untuk ukuran atau latensi akan kehilangan sedikit akurasi. Bergantung pada aplikasi Anda, ini mungkin atau mungkin tidak memengaruhi pengalaman pengguna Anda. Dalam kasus yang jarang terjadi, model tertentu dapat memperoleh akurasi sebagai hasil dari proses optimasi.

Jenis pengoptimalan

TensorFlow Lite saat ini mendukung pengoptimalan melalui kuantisasi, pemangkasan, dan pengelompokan.

Ini adalah bagian dari TensorFlow Model Optimasi Toolkit , yang menyediakan sumber daya untuk teknik optimasi model yang kompatibel dengan TensorFlow Lite.

kuantisasi

Kuantisasi bekerja dengan mengurangi ketepatan angka-angka yang digunakan untuk mewakili parameter model, yang secara default adalah 32-bit angka floating point. Ini menghasilkan ukuran model yang lebih kecil dan komputasi yang lebih cepat.

Jenis kuantisasi berikut tersedia di TensorFlow Lite:

Teknik Persyaratan data Pengurangan ukuran Ketepatan Perangkat keras yang didukung
Kuantisasi float16 pasca-pelatihan Tidak ada data Hingga 50% Kehilangan akurasi yang tidak signifikan CPU, GPU
Kuantisasi rentang dinamis pasca-pelatihan Tidak ada data Hingga 75% Kehilangan akurasi terkecil CPU, GPU (Android)
Kuantisasi bilangan bulat pasca-pelatihan Sampel representatif tanpa label Hingga 75% Kehilangan akurasi kecil CPU, GPU (Android), EdgeTPU, Hexagon DSP
Pelatihan sadar kuantisasi Data pelatihan berlabel Hingga 75% Kehilangan akurasi terkecil CPU, GPU (Android), EdgeTPU, Hexagon DSP

Pohon keputusan berikut membantu Anda memilih skema kuantisasi yang mungkin ingin Anda gunakan untuk model Anda, hanya berdasarkan ukuran dan akurasi model yang diharapkan.

kuantisasi-keputusan-pohon

Di bawah ini adalah hasil latensi dan akurasi untuk kuantisasi pascapelatihan dan pelatihan sadar kuantisasi pada beberapa model. Semua angka latensi diukur pada perangkat Pixel 2 menggunakan CPU inti besar tunggal. Seiring dengan peningkatan toolkit, demikian juga angka-angka di sini:

Model Akurasi Top-1 (Asli) Akurasi Top-1 (Kuantisasi Pasca Pelatihan) Akurasi Top-1 (Pelatihan Sadar Kuantisasi) Latensi (Asli) (md) Latensi (Kuantisasi Pasca Pelatihan) (md) Latensi (Pelatihan Sadar Kuantisasi) (md) Ukuran (Asli) (MB) Ukuran (Dioptimalkan) (MB)
Mobilenet-v1-1-224 0,709 0,657 0,70 124 112 64 16.9 4.3
Mobilenet-v2-1-224 0,719 0,637 0,709 89 98 54 14 3.6
Awal_v3 0,78 0,772 0,775 1130 845 543 95.7 23.9
Resnet_v2_101 0,770 0,768 T/A 3973 2868 T/A 178.3 44.9
Tabel 1 Manfaat model kuantisasi untuk model tertentu CNN

Kuantisasi bilangan bulat penuh dengan aktivasi int16 dan bobot int8

Kuantisasi dengan aktivasi int16 adalah skema kuantisasi bilangan bulat penuh dengan aktivasi di int16 dan bobot di int8. Mode ini dapat meningkatkan akurasi model terkuantisasi dibandingkan dengan skema kuantisasi bilangan bulat penuh dengan aktivasi dan bobot di int8 menjaga ukuran model yang sama. Direkomendasikan ketika aktivasi sensitif terhadap kuantisasi.

CATATAN: implementasi kernel referensi Saat ini hanya non-dioptimalkan tersedia dalam TFLite untuk skema kuantisasi ini, jadi secara default kinerja akan lambat dibandingkan dengan kernel int8. Keuntungan penuh dari mode ini saat ini dapat diakses melalui perangkat keras khusus, atau perangkat lunak khusus.

Di bawah ini adalah hasil akurasi untuk beberapa model yang memanfaatkan mode ini.

Model Jenis metrik akurasi Akurasi (aktivasi float32) Akurasi (aktivasi int8) Akurasi (aktivasi int16)
surat wav2 WER 6.7% 7.7% 7.2%
DeepSpeech 0.5.1 (terbuka) CER 6,13% 43,67% 6,52%
YoloV3 peta(IOU=0,5) 0,577 0,563 0,574
MobileNetV1 Akurasi Top-1 0,7062 0,694 0,6936
MobileNetV2 Akurasi Top-1 0,718 0,7126 0,7137
MobileBert F1 (Pencocokan persis) 88,81(81,23) 2.08(0) 88.73(81.15)
Tabel 2 Manfaat model kuantisasi dengan aktivasi int16

Pemangkasan

Pemangkasan karya dengan menghapus parameter dalam model yang hanya memiliki dampak kecil pada prediksi. Model yang dipangkas memiliki ukuran yang sama pada disk, dan memiliki latensi runtime yang sama, tetapi dapat dikompresi lebih efektif. Hal ini menjadikan pemangkasan sebagai teknik yang berguna untuk mengurangi ukuran unduhan model.

Di masa mendatang, TensorFlow Lite akan memberikan pengurangan latensi untuk model yang dipangkas.

Kekelompokan

Mengelompokkan karya dengan mengelompokkan bobot setiap lapisan dalam model ke dalam sejumlah yang telah ditetapkan cluster, kemudian berbagi nilai-nilai centroid untuk bobot milik setiap cluster individu. Ini mengurangi jumlah nilai bobot unik dalam model, sehingga mengurangi kompleksitasnya.

Akibatnya, model berkerumun dapat dikompresi lebih efektif, memberikan manfaat penyebaran mirip dengan pemangkasan.

Alur kerja pengembangan

Sebagai titik awal, cek jika model dalam model host dapat bekerja untuk aplikasi Anda. Jika tidak, kami merekomendasikan bahwa pengguna mulai dengan alat kuantisasi pasca-pelatihan karena ini adalah luas berlaku dan tidak memerlukan data pelatihan.

Untuk kasus di mana akurasi dan target latency tidak terpenuhi, atau dukungan hardware akselerator penting, pelatihan kuantisasi-sadar adalah pilihan yang lebih baik. Lihat teknik optimasi tambahan di bawah TensorFlow Model Optimasi Toolkit .

Jika Anda ingin mengurangi ukuran model Anda, Anda dapat mencoba pemangkasan dan / atau pengelompokan sebelum mengkuantisasi model Anda.