Peta Jalan TensorFlow Lite

Diperbarui: Mei 2021

Berikut ini merupakan ikhtisar tingkat tinggi dari peta jalan kami. Anda harus menyadari bahwa peta jalan ini dapat berubah sewaktu-waktu dan urutan di bawah ini tidak mencerminkan prioritas apa pun.

Kami membagi peta jalan kami menjadi empat segmen utama: kegunaan, kinerja, optimalisasi, dan portabilitas. Kami sangat menganjurkan Anda untuk mengomentari peta jalan kami dan memberikan masukan di grup diskusi TensorFlow Lite .

Kegunaan

  • Cakupan operasi diperluas
    • Tambahkan operasi yang ditargetkan berdasarkan masukan pengguna.
    • Tambahkan set operasi yang ditargetkan untuk domain dan area tertentu termasuk operasi Acak, operasi lapisan Keras dasar, tabel hash, operasi pelatihan tertentu.
  • Perkakas yang lebih membantu
    • Menyediakan anotasi grafik TensorFlow dan alat kompatibilitas untuk memvalidasi kompatibilitas TFLite dan akselerator perangkat keras selama pelatihan dan setelah konversi.
    • Izinkan penargetan dan pengoptimalan untuk akselerator tertentu selama konversi.
  • Pelatihan di perangkat
    • Mendukung pelatihan di perangkat untuk personalisasi dan pembelajaran transfer, termasuk Colab yang menunjukkan penggunaan menyeluruh.
    • Variabel pendukung/jenis sumber daya (baik untuk inferensi dan pelatihan)
    • Mendukung konversi dan eksekusi grafik dengan titik masuk beberapa fungsi (atau tanda tangan).
  • Integrasi Android Studio yang ditingkatkan
    • Tarik dan lepas model TFLite ke Android Studio untuk menghasilkan antarmuka model.
    • Meningkatkan dukungan pembuatan profil Android Studio, termasuk pembuatan profil memori.
  • Pembuat Model
    • Mendukung tugas-tugas baru, termasuk deteksi objek, rekomendasi, dan klasifikasi audio, yang mencakup beragam penggunaan umum.
    • Mendukung lebih banyak kumpulan data untuk membuat pembelajaran transfer lebih mudah.
  • Perpustakaan Tugas
    • Mendukung lebih banyak jenis model (misalnya audio, NLP) dengan kemampuan pemrosesan sebelum dan sesudah terkait.
    • Perbarui lebih banyak contoh referensi dengan Task API.
    • Mendukung akselerasi out-of-the-box untuk semua tugas.
  • Lebih banyak model dan contoh SOTA
    • Tambahkan lebih banyak contoh (misalnya audio, NLP, terkait struktur data) untuk mendemonstrasikan penggunaan model serta fitur dan API baru, yang mencakup berbagai platform.
    • Buat model tulang punggung yang dapat dibagikan di perangkat guna mengurangi biaya pelatihan dan penerapan.
  • Penerapan yang mulus di berbagai platform
    • Jalankan model TensorFlow Lite di web.
  • Peningkatan dukungan lintas platform
    • Perluas dan tingkatkan API untuk Java di Android, Swift di iOS, Python di RPi.
    • Meningkatkan dukungan CMake (misalnya, dukungan akselerator yang lebih luas).
  • Dukungan frontend yang lebih baik
    • Tingkatkan kompatibilitas dengan berbagai frontend pembuatan, termasuk Keras, tf.numpy.

Pertunjukan

  • Perkakas yang lebih baik
    • Dasbor publik untuk melacak peningkatan kinerja pada setiap rilis.
    • Peralatan untuk lebih memahami kompatibilitas grafik dengan akselerator target.
  • Peningkatan kinerja CPU
    • XNNPack diaktifkan secara default untuk inferensi floating point yang lebih cepat.
    • Dukungan setengah presisi ujung ke ujung (float16) dengan kernel yang dioptimalkan.
  • Dukungan NN API yang diperbarui
    • Dukungan penuh untuk fitur, operasi, dan jenis NN API versi Android yang lebih baru.
  • Optimasi GPU
    • Peningkatan waktu startup dengan dukungan serialisasi delegasi.
    • Interop buffer perangkat keras untuk inferensi tanpa penyalinan.
    • Ketersediaan akselerasi pada perangkat yang lebih luas.
    • Cakupan operasi yang lebih baik.

Optimasi

  • Kuantisasi

    • Kuantisasi pasca pelatihan selektif untuk mengecualikan lapisan tertentu dari kuantisasi.
    • Debugger kuantisasi untuk memeriksa kerugian kesalahan kuantisasi per setiap lapisan.
    • Menerapkan pelatihan sadar kuantisasi pada cakupan model yang lebih banyak, misalnya TensorFlow Model Garden.
    • Peningkatan kualitas dan kinerja untuk kuantisasi rentang dinamis pasca pelatihan.
    • Tensor Compression API untuk memungkinkan algoritma kompresi seperti SVD.

  • Pemangkasan / ketersebaran

    • Gabungkan API waktu pelatihan (pemangkasan + pelatihan sadar kuantisasi) yang dapat dikonfigurasi.
    • Meningkatkan penerapan sparity pada model TF Model Garden.
    • Dukungan eksekusi model renggang di TensorFlow Lite.

Portabilitas

  • Dukungan Mikrokontroler
    • Tambahkan dukungan untuk berbagai kasus penggunaan arsitektur MCU 32-bit untuk klasifikasi ucapan dan gambar.
    • Audio Frontend: Dukungan akselerasi dan pra-pemrosesan audio dalam grafik
    • Contoh kode dan model untuk data penglihatan dan audio.