TensorFlow Lite Yol Haritası

Güncelleme: Mayıs 2021

Aşağıdakiler, yol haritamızın üst düzey bir özetini temsil etmektedir. Bu yol haritasının her an değişebileceğini ve aşağıdaki sıralamanın herhangi bir öncelik türünü yansıtmadığını bilmelisiniz.

Yol haritamızı dört ana bölüme ayırıyoruz: kullanılabilirlik, performans, optimizasyon ve taşınabilirlik. Yol haritamız hakkında yorum yapmanızı ve TensorFlow Lite tartışma grubunda bize geri bildirimde bulunmanızı şiddetle tavsiye ederiz.

Kullanılabilirlik

  • Genişletilmiş operasyon kapsamı
    • Kullanıcı geri bildirimlerine göre hedeflenen operasyonlar ekleyin.
    • Rastgele operasyonlar, temel Keras katman operasyonları, karma tabloları, belirli eğitim operasyonları dahil olmak üzere belirli etki alanları ve alanlar için hedeflenen operasyon setleri ekleyin.
  • Daha fazla yardımcı alet
    • Eğitim sırasında ve dönüştürme sonrasında TFLite ve donanım hızlandırıcı uyumluluğunu doğrulamak için TensorFlow grafik açıklamaları ve uyumluluk araçları sağlayın.
    • Dönüşüm sırasında belirli hızlandırıcılar için hedeflemeye ve optimize etmeye izin verin.
  • Cihaz içi eğitim
    • Uçtan uca kullanımı gösteren bir Colab dahil olmak üzere kişiselleştirme ve aktarım öğrenimi için cihaz üzerinde eğitimi destekleyin.
    • Değişken / kaynak türlerini destekleyin (hem çıkarım hem de eğitim için)
    • Birden çok işlev (veya imza) giriş noktasına sahip grafiklerin dönüştürülmesini ve yürütülmesini destekleyin.
  • Gelişmiş Android Studio entegrasyonu
    • Model arabirimleri oluşturmak için TFLite modellerini Android Studio'ya sürükleyip bırakın.
    • Bellek profili oluşturma dahil Android Studio profil oluşturma desteğini iyileştirin.
  • Model yapımcısı
    • Geniş bir ortak kullanım koleksiyonunu kapsayan nesne algılama, öneri ve ses sınıflandırması gibi yeni görevleri destekleyin.
    • Transfer öğrenmeyi kolaylaştırmak için daha fazla veri setini destekleyin.
  • Görev Kitaplığı
    • İlişkili ön ve son işleme yetenekleriyle daha fazla model türünü (örn. Ses, NLP) destekleyin.
    • Görev API'leri ile daha fazla referans örneği güncelleyin.
    • Tüm görevler için kullanıma hazır hızlandırma desteği.
  • Daha fazla SOTA modeli ve örneği
    • Model kullanımının yanı sıra farklı platformları kapsayan yeni özellikler ve API'leri göstermek için daha fazla örnek (ör. Ses, NLP, yapı-verilerle ilgili) ekleyin.
    • Eğitim ve dağıtım maliyetlerini azaltmak için cihaz üzerinde paylaşılabilir omurga modelleri oluşturun.
  • Birden çok platformda sorunsuz dağıtım
    • TensorFlow Lite modellerini web üzerinde çalıştırın.
  • Geliştirilmiş çapraz platform desteği
    • Android'de Java, iOS'ta Swift, RPi'de Python için API'leri genişletin ve iyileştirin.
    • CMake desteğini geliştirin (örneğin, daha geniş hızlandırıcı desteği).
  • Daha iyi ön uç desteği
    • Keras, tf.numpy gibi çeşitli yazma ön uçlarıyla uyumluluğu geliştirin.

Verim

  • Daha iyi aletler
    • Her sürümle birlikte performans kazanımlarını izlemek için genel gösterge tablosu.
    • Hedef hızlandırıcılarla grafik uyumluluğunu daha iyi anlamak için araçlar.
  • Geliştirilmiş CPU performansı
    • Daha hızlı kayan nokta çıkarımı için XNNPack varsayılan olarak etkindir.
    • Optimize edilmiş çekirdeklerle uçtan uca yarım hassasiyet (float16) desteği.
  • Güncellenmiş NN API desteği
    • Daha yeni Android sürümü NN API özellikleri, işlemleri ve türleri için tam destek.
  • GPU optimizasyonları
    • Temsilci serileştirme desteği ile iyileştirilmiş başlatma süresi.
    • Sıfır kopya çıkarımı için donanım arabelleği birlikte çalışması.
    • Cihaz üzerinde hızlandırma için daha geniş kullanılabilirlik.
    • Daha iyi operasyon kapsamı.

Optimizasyon

  • Niceleme

    • Belirli katmanları nicemlemenin dışında bırakmak için seçmeli eğitim sonrası niceleme.

    • Her katman başına niceleme hatası kayıplarını incelemek için niceleme hata ayıklayıcı.

    • Daha fazla model kapsamı üzerine nicelemeye duyarlı eğitim uygulama, örneğin TensorFlow Model Garden.

    • Eğitim sonrası dinamik aralık niceleme için kalite ve performans iyileştirmeleri.

    • SVD gibi sıkıştırma algoritmalarına izin vermek için Tensör Sıkıştırma API'si.

  • Budama / seyreklik

    • Yapılandırılabilir eğitim süresi (budama + nicemlemeye duyarlı eğitim) API'lerini birleştirin.
    • TF Model Garden modellerinde seyreklik uygulamasını artırın.
    • TensorFlow Lite'ta seyrek model yürütme desteği.

Taşınabilirlik

  • Mikrodenetleyici Desteği
    • Konuşma ve görüntü sınıflandırması için bir dizi 32 bit MCU mimarisi kullanım senaryosu için destek ekleyin.
    • Ses Ön Ucu: Grafik içi ses ön işleme ve hızlandırma desteği
    • Görüntü ve ses verileri için örnek kod ve modeller.