TensorFlow Lite Yol Haritası

Güncelleme: Mayıs, 2021

Aşağıdakiler, yol haritamızın üst düzey bir genel görünümünü temsil etmektedir. Bu yol haritasının her an değişebileceğini ve aşağıdaki sıralamanın herhangi bir öncelik türünü yansıtmadığını bilmelisiniz.

Yol haritamızı dört ana bölüme ayırıyoruz: kullanılabilirlik, performans, optimizasyon ve taşınabilirlik. Önemle yol haritası üzerinde yorum ve bize geri bildirim sağlamak için teşvik TensorFlow Lite tartışma grubuna .

kullanılabilirlik

  • Genişletilmiş operasyon kapsamı
    • Kullanıcı geri bildirimlerine göre hedeflenen operasyonlar ekleyin.
    • Rastgele operasyonlar, temel Keras katman operasyonları, karma tabloları, belirli eğitim operasyonları dahil olmak üzere belirli etki alanları ve alanlar için hedeflenen operasyon setleri ekleyin.
  • Daha fazla yardımcı alet
    • Eğitim sırasında ve dönüştürme sonrasında TFLite ve donanım hızlandırıcı uyumluluğunu doğrulamak için TensorFlow grafik açıklamaları ve uyumluluk araçları sağlayın.
    • Dönüşüm sırasında belirli hızlandırıcılar için hedeflemeye ve optimizasyona izin verin.
  • Cihaz içi eğitim
    • Uçtan uca kullanımı gösteren bir Colab dahil olmak üzere kişiselleştirme ve transfer öğrenimi için cihaz içi eğitimi destekleyin.
    • Değişken/kaynak türlerini destekleyin (hem çıkarım hem de eğitim için)
    • Çoklu işlev (veya imza) giriş noktalarına sahip grafiklerin dönüştürülmesini ve yürütülmesini destekleyin.
  • Gelişmiş Android Studio entegrasyonu
    • Model arayüzleri oluşturmak için TFLite modellerini Android Studio'ya sürükleyip bırakın.
    • Bellek profili oluşturma da dahil olmak üzere Android Studio profil oluşturma desteğini iyileştirin.
  • Model yapımcısı
    • Geniş bir ortak kullanım koleksiyonunu kapsayan nesne algılama, öneri ve ses sınıflandırma dahil olmak üzere daha yeni görevleri destekleyin.
    • Aktarım öğrenimini kolaylaştırmak için daha fazla veri kümesini destekleyin.
  • Görev Kitaplığı
    • İlişkili ön ve son işleme yetenekleriyle daha fazla model türünü (örn. ses, NLP) destekleyin.
    • Görev API'leri ile daha fazla referans örneği güncelleyin.
    • Tüm görevler için kullanıma hazır hızlandırmayı destekleyin.
  • Daha fazla SOTA modeli ve örneği
    • Farklı platformları kapsayan yeni özellikler ve API'lerin yanı sıra model kullanımını göstermek için daha fazla örnek (örn. ses, NLP, yapı-veri ile ilgili) ekleyin.
    • Eğitim ve dağıtım maliyetlerini azaltmak için cihaz için paylaşılabilir omurga modelleri oluşturun.
  • Birden çok platformda sorunsuz dağıtım
    • TensorFlow Lite modellerini web üzerinde çalıştırın.
  • Geliştirilmiş platformlar arası destek
    • Android'de Java, iOS'ta Swift, RPi'de Python için API'leri genişletin ve iyileştirin.
    • CMake desteğini geliştirin (örneğin, daha geniş hızlandırıcı desteği).
  • Daha iyi ön uç desteği
    • Keras, tf.numpy dahil olmak üzere çeşitli geliştirme ön uçlarıyla uyumluluğu iyileştirin.

Verim

  • Daha iyi takım
    • Her sürümde performans kazanımlarını izlemek için genel gösterge panosu.
    • Hedef hızlandırıcılarla grafik uyumluluğunu daha iyi anlamak için araçlar.
  • Geliştirilmiş CPU performansı
    • Daha hızlı kayan nokta çıkarımı için varsayılan olarak etkinleştirilmiş XNNPack.
    • Optimize edilmiş çekirdeklerle uçtan uca yarı hassasiyet (float16) desteği.
  • Güncellenmiş NN API desteği
    • Daha yeni Android sürümü NN API özellikleri, işlemleri ve türleri için tam destek.
  • GPU optimizasyonları
    • Temsilci serileştirme desteğiyle iyileştirilmiş başlatma süresi.
    • Sıfır kopya çıkarımı için donanım arabelleği birlikte çalışması.
    • Cihaz hızlandırmanın daha geniş kullanılabilirliği.
    • Daha iyi operasyon kapsamı.

Optimizasyon

  • niceleme

    • Belirli katmanları nicelemeden hariç tutmak için eğitim sonrası seçmeli niceleme.
    • Her katman başına niceleme hatası kayıplarını denetlemek için niceleme hata ayıklayıcı.
    • TensorFlow Model Garden gibi daha fazla model kapsamına nicelleştirmeye duyarlı eğitim uygulamak.
    • Eğitim sonrası dinamik aralık niceleme için kalite ve performans iyileştirmeleri.
    • SVD gibi sıkıştırma algoritmalarına izin vermek için Tensor Sıkıştırma API'si.
  • Budama / seyreklik

    • Yapılandırılabilir eğitim zamanı (budama + niceleme farkında eğitim) API'lerini birleştirin.
    • TF Model Garden modellerinde sparity uygulamasını artırın.
    • TensorFlow Lite'da seyrek model yürütme desteği.

taşınabilirlik

  • Mikrodenetleyici Desteği
    • Konuşma ve görüntü sınıflandırması için bir dizi 32 bit MCU mimarisi kullanım senaryosu desteği ekleyin.
    • Ses Ön Uç: Grafik içi ses ön işleme ve hızlandırma desteği
    • Görüntü ve ses verileri için örnek kod ve modeller.