TensorFlow model optimizasyonu

TensorFlow Model Optimizasyon Araç Takımı , makine öğrenimi çıkarımını optimize etmenin karmaşıklığını en aza indirir.

Gecikme, bellek kullanımı ve çoğu durumda güç tüketimi nedeniyle makine öğrenimi modellerini dağıtırken çıkarım verimliliği kritik bir husustur. Özellikle mobil ve Nesnelerin İnterneti (IoT) gibi uç cihazlarda kaynaklar daha da kısıtlanır ve model boyutu ve hesaplama verimliliği büyük bir endişe kaynağı haline gelir.

Farklı mimarilerde eğitilen modellerin sayısı arttıkça eğitim için hesaplama talebi artarken , çıkarım için hesaplama talebi kullanıcı sayısıyla orantılı olarak artar.

Kullanım durumları

Model optimizasyonu, diğer şeylerin yanı sıra aşağıdakiler için yararlıdır:

  • Hem bulut hem de uç cihazlar (ör. mobil, IoT) için gecikmeyi ve çıkarım maliyetini azaltır.
  • Modelleri işleme, bellek ve/veya güç tüketimi kısıtlamalarıyla uç cihazlarda dağıtma.
  • Kablosuz model güncellemeleri için yük boyutunun azaltılması.
  • Donanımla sınırlı veya sabit nokta işlemleri için optimize edilmiş yürütmeyi etkinleştirme.
  • Özel amaçlı donanım hızlandırıcıları için modelleri optimize etme.

Optimizasyon teknikleri

Model optimizasyonu alanı çeşitli teknikleri içerebilir:

  • Budama ve yapılandırılmış budama ile parametre sayısını azaltın.
  • Kuantizasyon ile temsili kesinliği azaltın.
  • Orijinal model topolojisini, azaltılmış parametreler veya daha hızlı yürütme ile daha verimli bir modele güncelleyin. Örneğin, tensör ayrıştırma yöntemleri ve damıtma

Araç setimiz , eğitim sonrası nicelemeyi , nicelemeye duyarlı eğitimi , budamayı ve kümelemeyi destekler . Araç seti ayrıca çeşitli teknikleri birleştirmek için işbirliğine dayalı optimizasyon için deneysel destek sağlar.

niceleme

Nicelleştirilmiş modeller, modelleri 32 bit kayan nokta yerine 8 bit tam sayılar gibi daha düşük hassasiyetle temsil ettiğimiz modellerdir. Daha düşük hassasiyet, belirli donanımlardan yararlanmak için bir gerekliliktir.

Seyreklik ve budama

Seyrek modeller, operatörler (yani sinir ağı katmanları) arasındaki bağlantıların budandığı ve parametre tensörlerine sıfırlar eklendiği modellerdir.

kümeleme

Kümelenmiş modeller, orijinal modelin parametrelerinin daha az sayıda benzersiz değerle değiştirildiği modellerdir.

İşbirliğine dayalı optimizasyon

Araç seti, işbirlikçi optimizasyon için deneysel destek sağlar. Bu, birkaç model sıkıştırma tekniğini birleştirmenizden yararlanmanıza ve aynı anda niceleme duyarlı eğitim yoluyla gelişmiş doğruluk elde etmenize olanak tanır.