TensorFlow Lite Yol Haritası

Güncelleme: Mayıs 2021

Aşağıdaki yol haritamızın üst düzey bir genel görünümünü temsil etmektedir. Bu yol haritasının her an değişebileceğini ve aşağıdaki sıralamanın herhangi bir öncelik türünü yansıtmadığını bilmelisiniz.

Yol haritamızı dört temel bölüme ayırıyoruz: kullanılabilirlik, performans, optimizasyon ve taşınabilirlik. Yol haritamız hakkında yorum yapmanızı ve TensorFlow Lite tartışma grubunda bize geri bildirimde bulunmanızı şiddetle tavsiye ediyoruz.

Kullanılabilirlik

  • Genişletilmiş operasyon kapsamı
    • Kullanıcı geri bildirimlerine göre hedeflenen operasyonlar ekleyin.
    • Rastgele işlemler, temel Keras katmanı işlemleri, karma tabloları, seçili eğitim işlemleri dahil olmak üzere belirli alanlar ve alanlar için hedeflenen işlem kümeleri ekleyin.
  • Daha fazla yardımcı takım
    • Eğitim sırasında ve dönüşüm sonrasında TFLite ve donanım hızlandırıcı uyumluluğunu doğrulamak için TensorFlow grafik açıklamaları ve uyumluluk araçları sağlayın.
    • Dönüşüm sırasında belirli hızlandırıcılar için hedeflemeye ve optimizasyona izin verin.
  • Cihaz içi eğitim
    • Uçtan uca kullanımı gösteren bir Colab dahil, kişiselleştirme ve aktarım öğrenimi için cihaz üzerinde eğitimi destekleyin.
    • Değişken/kaynak türlerini destekleyin (hem çıkarım hem de eğitim için)
    • Çoklu işlev (veya imza) giriş noktalarına sahip grafiklerin dönüştürülmesini ve yürütülmesini destekleyin.
  • Gelişmiş Android Studio entegrasyonu
    • Model arayüzleri oluşturmak için TFLite modellerini Android Studio'ya sürükleyip bırakın.
    • Bellek profili oluşturma da dahil olmak üzere Android Studio profil oluşturma desteğini geliştirin.
  • Model yapımcısı
    • Geniş bir yaygın kullanım koleksiyonunu kapsayan, nesne algılama, öneri ve ses sınıflandırması dahil daha yeni görevleri destekleyin.
    • Transfer öğrenimini kolaylaştırmak için daha fazla veri setini destekleyin.
  • Görev Kitaplığı
    • İlgili ön ve son işleme yetenekleriyle daha fazla model türünü (örneğin ses, NLP) destekleyin.
    • Görev API'leriyle daha fazla referans örneğini güncelleyin.
    • Tüm görevler için kullanıma hazır hızlandırmayı destekleyin.
  • Daha fazla SOTA modeli ve örneği
    • Model kullanımının yanı sıra farklı platformları kapsayan yeni özellikler ve API'leri göstermek için daha fazla örnek (örneğin ses, NLP, yapı-veri ile ilgili) ekleyin.
    • Eğitim ve dağıtım maliyetlerini azaltmak için cihaz üzerinde paylaşılabilir omurga modelleri oluşturun.
  • Birden fazla platformda sorunsuz dağıtım
    • TensorFlow Lite modellerini web üzerinde çalıştırın.
  • Geliştirilmiş çapraz platform desteği
    • Android'de Java, iOS'ta Swift ve RPi'de Python için API'leri genişletin ve iyileştirin.
    • CMake desteğini geliştirin (örneğin, daha geniş hızlandırıcı desteği).
  • Daha iyi ön uç desteği
    • Keras, tf.numpy dahil olmak üzere çeşitli yazma ön uçlarıyla uyumluluğu geliştirin.

Verim

  • Daha iyi takımlama
    • Her sürümdeki performans artışlarını izlemeye yönelik genel kontrol paneli.
    • Hedef hızlandırıcılarla grafik uyumluluğunu daha iyi anlamak için araçlar.
  • Geliştirilmiş CPU performansı
    • Daha hızlı kayan nokta çıkarımı için XNNPack varsayılan olarak etkindir.
    • Optimize edilmiş çekirdeklerle uçtan uca yarım hassasiyet (float16) desteği.
  • Güncellenmiş NN API desteği
    • Daha yeni Android sürümü NN API özellikleri, işlemleri ve türleri için tam destek.
  • GPU optimizasyonları
    • Temsilci serileştirme desteğiyle iyileştirilmiş başlatma süresi.
    • Sıfır kopya çıkarımı için donanım arabelleği birlikte çalışması.
    • Cihaz üzerinde hızlandırmanın daha geniş kullanılabilirliği.
    • Daha iyi operasyon kapsamı.

Optimizasyon

  • Niceleme

    • Belirli katmanları nicelemenin dışında tutmak için seçici eğitim sonrası niceleme.
    • Her katman başına niceleme hatası kayıplarını incelemek için niceleme hata ayıklayıcısı.
    • Daha fazla model kapsamı üzerinde kuantizasyona duyarlı eğitimin uygulanması, örneğin TensorFlow Model Garden.
    • Eğitim sonrası dinamik aralık nicemleme için kalite ve performans iyileştirmeleri.
    • SVD gibi sıkıştırma algoritmalarına izin veren Tensör Sıkıştırma API'si.

  • Budama / seyreklik

    • Yapılandırılabilir eğitim süresi (budama + niceleme farkındalığına sahip eğitim) API'lerini birleştirin.
    • TF Model Bahçe modellerinde seyreklik uygulamasını arttırın.
    • TensorFlow Lite'ta seyrek model yürütme desteği.

Taşınabilirlik

  • Mikrodenetleyici Desteği
    • Konuşma ve görüntü sınıflandırmasına yönelik çeşitli 32 bit MCU mimarisi kullanım örnekleri için destek ekleyin.
    • Ses Ön Uç: Grafik içi ses ön işleme ve hızlandırma desteği
    • Görme ve ses verileri için örnek kod ve modeller.