Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

TensorFlow model optimizasyonu

TensorFlow Model Optimizasyon Araç Seti , makine öğrenimi çıkarımını optimize etme karmaşıklığını en aza indirir.

Çıkarım verimliliği, gecikme, bellek kullanımı ve çoğu durumda güç tüketimi nedeniyle makine öğrenimi modellerini dağıtırken kritik bir sorundur. Özellikle mobil ve Nesnelerin İnterneti (IoT) gibi uç cihazlarda kaynaklar daha da kısıtlanır ve model boyutu ve hesaplamanın verimliliği önemli bir sorun haline gelir.

Hesaplamalı eğitim talebi, farklı mimariler üzerinde eğitilen modellerin sayısı ile artarken, hesaplamalı çıkarım talebi, kullanıcı sayısı ile orantılı olarak artmaktadır.

Kullanım durumları

Model optimizasyonu, diğer şeylerin yanı sıra aşağıdakiler için yararlıdır:

  • Hem bulut hem de uç cihazlar (ör. Mobil, IoT) için çıkarım için gecikmeyi ve maliyeti azaltmak.
  • Modelleri işleme, bellek ve / veya güç tüketimi kısıtlamaları olan uç cihazlara dağıtma.
  • Kablosuz model güncellemeleri için yük boyutunu azaltma.
  • Sabit noktalı işlemlerle sınırlı veya optimize edilmiş donanım üzerinde yürütmeyi etkinleştirme.
  • Modelleri özel amaçlı donanım hızlandırıcılar için optimize etme.

Optimizasyon teknikleri

Model optimizasyonu alanı çeşitli teknikleri içerebilir:

  • Budama ve yapılandırılmış budama ile parametre sayısını azaltın.
  • Niceleme ile temsil hassasiyetini azaltın.
  • Orijinal model topolojisini azaltılmış parametrelerle veya daha hızlı yürütmeyle daha verimli bir şekilde güncelleyin. Örneğin, tensör ayrıştırma yöntemleri ve damıtma

Araç kitimiz , eğitim sonrası niceleme , nicemlemeye duyarlı eğitim , budama ve kümelemeyi destekler .

niceleme

Quantized modeller, 32-bit float yerine 8-bit tamsayılar gibi modelleri daha düşük hassasiyetle temsil ettiğimiz modellerdir. Daha düşük hassasiyet, belirli donanımlardan yararlanmak için bir gerekliliktir.

Seyreklik ve budama

Seyrek modeller, operatörler arasındaki bağlantıların (yani sinir ağı katmanlarının) budanarak parametre tensörlerine sıfırlar eklediği modellerdir.

Kümeleme

Kümelenmiş modeller, orijinal modelin parametrelerinin daha az sayıda benzersiz değerle değiştirildiği modellerdir.