Pengoptimalan model

Perangkat tepi sering kali memiliki memori atau daya komputasi yang terbatas. Berbagai pengoptimalan dapat diterapkan ke model agar dapat dijalankan dalam batasan ini. Selain itu, beberapa pengoptimalan memungkinkan penggunaan perangkat keras khusus untuk inferensi yang dipercepat.

TensorFlow Lite dan TensorFlow Model Optimization Toolkit menyediakan fitur untuk meminimalkan kerumitan pengoptimalan inferensi.

Anda disarankan untuk mempertimbangkan pengoptimalan model selama proses pengembangan aplikasi Anda. Dokumen ini menguraikan beberapa praktik terbaik untuk mengoptimalkan model TensorFlow untuk penerapan ke perangkat keras edge.

Mengapa model harus dioptimalkan

Ada beberapa cara utama pengoptimalan model dapat membantu pengembangan aplikasi.

Pengurangan ukuran

Beberapa bentuk pengoptimalan dapat digunakan untuk memperkecil ukuran model. Model yang lebih kecil memiliki keuntungan sebagai berikut:

  • Ukuran penyimpanan lebih kecil: Model yang lebih kecil menempati lebih sedikit ruang penyimpanan di perangkat pengguna Anda. Misalnya, aplikasi Android yang menggunakan model yang lebih kecil akan menggunakan lebih sedikit ruang penyimpanan di perangkat seluler pengguna.
  • Ukuran unduhan lebih kecil: Model yang lebih kecil membutuhkan lebih sedikit waktu dan bandwidth untuk mengunduh ke perangkat pengguna.
  • Penggunaan memori yang lebih sedikit : Model yang lebih kecil menggunakan lebih sedikit RAM saat dijalankan, yang mengosongkan memori untuk digunakan bagian lain dari aplikasi Anda, dan dapat menghasilkan kinerja dan stabilitas yang lebih baik.

Kuantisasi dapat mengurangi ukuran model dalam semua kasus ini, berpotensi mengorbankan beberapa keakuratan. Pemangkasan dan pengelompokan dapat mengurangi ukuran model untuk diunduh dengan membuatnya lebih mudah dimampatkan.

Pengurangan latensi

Latensi adalah jumlah waktu yang diperlukan untuk menjalankan satu inferensi dengan model tertentu. Beberapa bentuk pengoptimalan dapat mengurangi jumlah komputasi yang diperlukan untuk menjalankan inferensi menggunakan model, sehingga menghasilkan latensi yang lebih rendah. Latensi juga dapat berdampak pada konsumsi daya.

Saat ini, kuantisasi dapat digunakan untuk mengurangi latensi dengan menyederhanakan penghitungan yang terjadi selama inferensi, berpotensi mengorbankan beberapa akurasi.

Kompatibilitas akselerator

Beberapa akselerator hardware, seperti Edge TPU , dapat menjalankan inferensi dengan sangat cepat dengan model yang telah dioptimalkan dengan benar.

Umumnya, jenis perangkat ini memerlukan model untuk dikuantisasi dengan cara tertentu. Lihat dokumentasi setiap akselerator perangkat keras untuk mempelajari lebih lanjut tentang persyaratannya.

Pengorbanan

Pengoptimalan berpotensi menghasilkan perubahan dalam akurasi model, yang harus dipertimbangkan selama proses pengembangan aplikasi.

Perubahan akurasi bergantung pada model individual yang dioptimalkan, dan sulit diprediksi sebelumnya. Umumnya, model yang dioptimalkan untuk ukuran atau latensi akan kehilangan sedikit keakuratan. Bergantung pada aplikasi Anda, ini mungkin atau mungkin tidak memengaruhi pengalaman pengguna Anda. Dalam kasus yang jarang terjadi, model tertentu mungkin mendapatkan beberapa akurasi sebagai hasil dari proses pengoptimalan.

Jenis pengoptimalan

TensorFlow Lite saat ini mendukung pengoptimalan melalui kuantisasi, pemangkasan, dan pengelompokan.

Ini adalah bagian dari TensorFlow Model Optimization Toolkit , yang menyediakan sumber daya untuk teknik pengoptimalan model yang kompatibel dengan TensorFlow Lite.

Kuantisasi

Kuantisasi bekerja dengan mengurangi ketepatan angka yang digunakan untuk merepresentasikan parameter model, yang secara default adalah angka floating point 32-bit. Ini menghasilkan ukuran model yang lebih kecil dan komputasi yang lebih cepat.

Jenis kuantisasi berikut tersedia di TensorFlow Lite:

Teknik Persyaratan data Pengurangan ukuran Ketepatan Perangkat keras yang didukung
Kuantisasi float16 pasca pelatihan Tidak ada data Hingga 50% Kehilangan akurasi yang tidak signifikan CPU, GPU
Kuantisasi rentang dinamis pasca pelatihan Tidak ada data Hingga 75% Kehilangan akurasi CPU, GPU (Android)
Kuantisasi bilangan bulat pasca-pelatihan Sampel perwakilan tidak berlabel Hingga 75% Kehilangan akurasi lebih kecil CPU, GPU (Android), EdgeTPU, Hexagon DSP
Pelatihan sadar kuantitas Data pelatihan berlabel Hingga 75% Kehilangan akurasi terkecil CPU, GPU (Android), EdgeTPU, Hexagon DSP

Pohon keputusan berikut membantu Anda memilih skema kuantisasi yang mungkin ingin Anda gunakan untuk model Anda, hanya berdasarkan ukuran dan akurasi model yang diharapkan.

kuantisasi-pohon keputusan

Di bawah ini adalah hasil latensi dan akurasi untuk kuantisasi pasca pelatihan dan pelatihan yang sadar kuantisasi pada beberapa model. Semua angka latensi diukur pada perangkat Pixel 2 menggunakan satu CPU inti besar. Saat toolkit meningkat, begitu pula angka-angkanya di sini:

Model Akurasi Top-1 (Asli) Akurasi Top-1 (Jumlah Pasca Pelatihan) Akurasi 1 Teratas (Pelatihan Sadar Kuantisasi) Latensi (Asli) (md) Latensi (Pasca Pelatihan Quantized) (md) Latensi (Pelatihan Sadar Kuantisasi) (md) Ukuran (Asli) (MB) Ukuran (Dioptimalkan) (MB)
Mobilenet-v1-1-224 0.709 0,657 0.70 124 112 64 16.9 4.3
Mobilenet-v2-1-224 0.719 0,637 0.709 89 98 54 14 3.6
Inception_v3 0.78 0.772 0.775 1130 845 543 95.7 23.9
Resnet_v2_101 0.770 0.768 T / A 3973 2868 T / A 178.3 44.9
Tabel 1 Manfaat kuantisasi model untuk model CNN tertentu

Kuantisasi integer penuh dengan aktivasi int16 dan bobot int8

Kuantisasi dengan aktivasi int16 adalah skema kuantisasi integer penuh dengan aktivasi di int16 dan bobot di int8. Mode ini dapat meningkatkan akurasi model terkuantisasi dibandingkan dengan skema kuantisasi integer penuh dengan aktivasi dan bobot dalam int8 dengan menjaga ukuran model yang serupa. Direkomendasikan jika aktivasi sensitif terhadap kuantisasi.

CATATAN: Saat ini hanya implementasi kernel referensi yang tidak dioptimalkan yang tersedia di TFLite untuk skema kuantisasi ini, jadi secara default kinerjanya akan lambat dibandingkan dengan kernel int8. Keuntungan penuh dari mode ini saat ini dapat diakses melalui perangkat keras khusus, atau perangkat lunak khusus.

Berikut adalah hasil akurasi untuk beberapa model yang memanfaatkan mode ini.

Model Jenis metrik akurasi Akurasi (aktivasi float32) Akurasi (aktivasi int8) Akurasi (aktivasi int16)
Wav2letter WER 6,7% 7,7% 7,2%
DeepSpeech 0.5.1 (tidak digulung) CER 6,13% 43,67% 6,52%
YoloV3 peta (IOU = 0,5) 0,577 0,563 0,574
MobileNetV1 Akurasi 1 Teratas 0.7062 0,694 0.6936
MobileNetV2 Akurasi 1 Teratas 0.718 0.7126 0.7137
MobileBert F1 (Pertandingan persis) 88.81 (81.23) 2.08 (0) 88.73 (81.15)
Tabel 2 Manfaat kuantisasi model dengan aktivasi int16

Pemangkasan

Pemangkasan berfungsi dengan menghapus parameter dalam model yang hanya berdampak kecil pada prediksinya. Model yang dipangkas memiliki ukuran yang sama di disk, dan memiliki latensi waktu proses yang sama, tetapi dapat dikompresi dengan lebih efektif. Hal ini membuat pemangkasan menjadi teknik yang berguna untuk mengurangi ukuran download model.

Di masa mendatang, TensorFlow Lite akan memberikan pengurangan latensi untuk model yang dipangkas.

Kekelompokan

Pengelompokan bekerja dengan mengelompokkan bobot setiap lapisan dalam model ke dalam sejumlah kluster yang telah ditentukan sebelumnya, kemudian membagikan nilai sentroid untuk bobot yang dimiliki oleh masing-masing kluster. Ini mengurangi jumlah nilai bobot unik dalam model, sehingga mengurangi kompleksitasnya.

Hasilnya, model berkerumun dapat dikompresi dengan lebih efektif, memberikan manfaat penerapan yang mirip dengan pemangkasan.

Alur kerja pengembangan

Sebagai titik awal, periksa apakah model dalam model yang dihosting dapat berfungsi untuk aplikasi Anda. Jika tidak, kami menganjurkan agar pengguna memulai dengan alat kuantisasi pasca-pelatihan karena ini dapat diterapkan secara luas dan tidak memerlukan data pelatihan.

Untuk kasus di mana target akurasi dan latensi tidak terpenuhi, atau dukungan akselerator hardware penting, pelatihan sadar-kuantisasi adalah opsi yang lebih baik. Lihat teknik pengoptimalan tambahan pada Toolkit Pengoptimalan Model TensorFlow .

Jika Anda ingin lebih mengurangi ukuran model Anda, Anda dapat mencoba pemangkasan dan / atau pengelompokan sebelum mengukur model Anda.