Gündem açıklandı! 19 Ekim tarihinde ML Sempozyumu Kadınlar bir noktaya kaydet şimdi Register

Önemsiz ağırlıkları kesin

TensorFlow Model Optimizasyonu ile korunur

Bu belge, kullanım durumunuza nasıl uyduğunu belirlemenize yardımcı olmak için model budamaya genel bir bakış sağlar.

Genel Bakış

Büyüklüğe dayalı ağırlık budama, model seyrekliği elde etmek için eğitim süreci sırasında model ağırlıklarını kademeli olarak sıfırlar. Seyrek modellerin sıkıştırılması daha kolaydır ve gecikme iyileştirmeleri için çıkarım sırasında sıfırları atlayabiliriz.

Bu teknik, model sıkıştırması yoluyla iyileştirmeler getirir. Gelecekte, bu teknik için çerçeve desteği, gecikme iyileştirmeleri sağlayacaktır. Minimum doğruluk kaybıyla model sıkıştırmada 6 kata kadar iyileştirmeler gördük.

Teknik, konuşma tanıma ve metinden sese gibi çeşitli konuşma uygulamalarında değerlendirilmekte ve çeşitli vizyon ve çeviri modellerinde denenmiştir.

API Uyumluluk Matrisi

Kullanıcılar aşağıdaki API'lerle budama uygulayabilir:

  • Model oluşturma: Yalnızca Sıralı ve İşlevsel modellerle tf.keras
  • TensorFlow sürümleri: 1.14+ ve 2.x sürümleri için TF 1.x.
    • tf.compat.v1 bir TF 2.X paketi ve ile tf.compat.v2 bir TF 1.X paketi ile desteklenmez.
  • TensorFlow yürütme modu: hem grafik hem de istekli
  • Dağıtılmış eğitim: tf.distribute yalnızca grafik yürütme ile

Aşağıdaki alanlarda destek eklemek yol haritamızdadır:

Sonuçlar

Görüntü Sınıflandırma

Modeli Seyrek Olmayan İlk-1 Doğruluk Seyrek Doğruluk Kıtlık
InceptionV3 % 78.1 % 78.0 % 50
% 76.1 % 75
% 74.6 % 87.5
MobilenetV1 224 % 71.04 % 70,84 % 50

Modeller Imagenet üzerinde test edildi.

Tercüme

Modeli Seyrek olmayan BLEU Seyrek BLEU Kıtlık
GNMT EN-DE 26.77 26.86 % 80
26.52 % 85
26.19 % 90
GNMT DE-EN 29.47 29.50 % 80
29.24 % 85
28.81 % 90

Modeller, geliştirme seti olarak haber-test2013 ve test seti olarak haber-test2015 ile WMT16 Almanca ve İngilizce veri kümesini kullanıyor.

Örnekler

Keras ile Prune öğreticisine ek olarak, aşağıdaki örneklere bakın:

  • Budama ile MNIST el yazısıyla yazılmış rakam sınıflandırma görevinde bir CNN modeli eğitin: kod
  • Budama ile IMDB duyarlılık sınıflandırma görevinde bir LSTM eğitin: kod

Arka plan için bkz. Budamak veya budamak: model sıkıştırması [ kağıt ] için budamanın etkinliğini keşfetme .