Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

Ağırlık kümeleme

Kol ML Tooling sahibi olduğu

Bu belge bunu kullanımı durumda uyan belirlemek yardımına ağırlık kümelenme konusunda genel bir bakış sağlar.

genel bakış

Kümelenme, veya ağırlık paylaşımı, dağıtım için faydasına yol açan, bir model benzersiz ağırlık değerlerinin sayısını azaltır. İlk gruplar, N kümeler halinde her katmanın ağırlıkları, sonra kümeye ait olan tüm ağırlıklar için kümenin ağırlık merkezi değeri paylaşmaktadır.

Bu teknik modeli sıkıştırma yoluyla iyileştirmeler getiriyor. Gelecek çerçeve desteği sınırlı kaynaklarla gömülü sistemlerde derin öğrenim modellerini dağıtmak için çok önemli bir fark yaratabilir bellek izi iyileştirmeler kilidini açabilir.

Biz vizyon ve konuşma görevleri arasında kümelenme ile denemişlerdir. Gösterdiği gibi, doğruluk kaybıyla modeli sıkıştırma içinde 5x iyileştirmeler kadar gördüğüm sonuçları aşağıda sunulmuştur.

Lütfen not kümeleme başına ekseni eğitim sonrası nicelemesinden ile bir toplu normalleştirme tabakası, hem de içinde kombinasyonunu önce konvolüsyon ve yoğun katmanlar için azaltılmış faydalar sağlayacağını.

API uyumluluk matrisi

Kullanıcılar aşağıdaki API'larla kümeleme uygulayabilirsiniz:

  • Model bina: tf.keras sadece Sıralı ve Fonksiyonel modellerle
  • TensorFlow sürümleri: sürümler için TF 1.x 1.14+ ve 2.x
    • tf.compat.v1 bir TF 2.X paketi ve ile tf.compat.v2 bir TF 1.X paketi ile desteklenmez.
  • TensorFlow yürütme modunda: grafiktir ve istekli hem

Sonuçlar

Görüntü sınıflandırma

model orijinal kümelenmiş
Üst-1 hassasiyeti (%) Sıkıştırılmış .tflite boyutu (MB) Yapılandırma kümelerinin # Üst-1 hassasiyeti (%) Sıkıştırılmış .tflite boyutu (MB)
MobileNetV1 71.02 14.96
Seçmeli (son 3 Conv2D tabakalar) 256, 256, 32 70.62 8.42
Tam (tüm Conv2D katman) 64 66.07 2.98
MobileNetV2 72.29 12.90
Seçmeli (son 3 Conv2D tabakalar) 256, 256, 32 72,31 7.00
Tam (tüm Conv2D katman) 32 69.33 2.60

Modeller eğitilmiş ve ImageNet üzerinde test edildi.

Kelime lekelenme

model orijinal kümelenmiş
Üst-1 hassasiyeti (%) Sıkıştırılmış .tflite boyutu (MB) Yapılandırma kümelerinin # Üst-1 hassasiyeti (%) Sıkıştırılmış .tflite boyutu (MB)
DS-HSA-L 95,03 1.5 Tam 32 94,71 0.3

Modeller eğitilmiş ve SpeechCommands v0.02 üzerinde test edildi.

  1. .h5 dosyasına Keras modelini seri hale
  2. Kullanarak .tflite içine .h5 dosyası dönüştürme TFLiteConverter.from_keras_model_file()
  3. Bir zip içine .tflite dosyayı sıkıştırın

Örnekler

Ek olarak Keras örnekte ağırlık kümeleme , aşağıdaki örneklere bakınız:

  • MNIST el yazısıyla haneli sınıflandırma veri kümesi üzerinde eğitilmiş bir CNN modelinin ağırlıkları altında bir araya getirin: kodu

Quantization ve Huffman Coding Eğitimli, Basma Derin Sinir Ağları ile Budama: ağırlık kümeleme uygulama Derin Sıkıştırma dayanmaktadır kağıdı . Bakınız bölüm 3, Nicelemek ve Ağırlık Paylaşımı Eğitimli başlıklı.