Bantuan melindungi Great Barrier Reef dengan TensorFlow pada Kaggle Bergabung Tantangan

Peta Jalan TensorFlow Lite

Diperbarui: Mei, 2021

Berikut ini merupakan ikhtisar tingkat tinggi dari peta jalan kami. Anda harus menyadari bahwa peta jalan ini dapat berubah sewaktu-waktu dan urutan di bawah ini tidak mencerminkan jenis prioritas apa pun.

Kami membagi peta jalan kami menjadi empat segmen utama: kegunaan, kinerja, pengoptimalan, dan portabilitas. Kami sangat menyarankan anda untuk mengomentari roadmap kami dan memberikan umpan balik dalam kita kelompok diskusi TensorFlow Lite .

Kegunaan

  • Cakupan operasi yang diperluas
    • Tambahkan operasi yang ditargetkan berdasarkan umpan balik pengguna.
    • Tambahkan set operasi yang ditargetkan untuk domain dan area tertentu termasuk Operasi acak, operasi lapisan Keras dasar, tabel hash, operasi pelatihan tertentu.
  • Lebih banyak alat bantu
    • Menyediakan anotasi grafik TensorFlow dan alat kompatibilitas untuk memvalidasi TFLite dan kompatibilitas akselerator perangkat keras selama pelatihan dan setelah konversi.
    • Izinkan penargetan dan pengoptimalan untuk akselerator tertentu selama konversi.
  • Pelatihan di perangkat
    • Mendukung pelatihan di perangkat untuk personalisasi dan pembelajaran transfer, termasuk Colab yang mendemonstrasikan penggunaan menyeluruh.
    • Variabel pendukung/jenis sumber daya (baik untuk inferensi dan pelatihan)
    • Mendukung konversi dan eksekusi grafik dengan beberapa titik masuk fungsi (atau tanda tangan).
  • Integrasi Android Studio yang ditingkatkan
    • Seret dan lepas model TFLite ke Android Studio untuk menghasilkan antarmuka model.
    • Tingkatkan dukungan pembuatan profil Android Studio, termasuk pembuatan profil memori.
  • Pembuat Model
    • Mendukung tugas yang lebih baru, termasuk deteksi objek, rekomendasi, dan klasifikasi audio, yang mencakup banyak koleksi penggunaan umum.
    • Dukung lebih banyak kumpulan data untuk mempermudah pembelajaran transfer.
  • Perpustakaan Tugas
    • Mendukung lebih banyak jenis model (misalnya audio, NLP) dengan kemampuan pemrosesan pra dan pasca terkait.
    • Perbarui lebih banyak contoh referensi dengan API Tugas.
    • Mendukung akselerasi out-of-the-box untuk semua tugas.
  • Lebih banyak model dan contoh SOTA
    • Tambahkan lebih banyak contoh (misalnya audio, NLP, terkait struktur-data) untuk mendemonstrasikan penggunaan model serta fitur dan API baru, yang mencakup berbagai platform.
    • Buat model tulang punggung yang dapat dibagikan untuk di perangkat guna mengurangi biaya pelatihan dan penerapan.
  • Penerapan yang mulus di berbagai platform
    • Jalankan model TensorFlow Lite di web.
  • Dukungan lintas platform yang ditingkatkan
    • Perluas dan tingkatkan API untuk Java di Android, Swift di iOS, Python di RPi.
    • Tingkatkan dukungan CMake (misalnya, dukungan akselerator yang lebih luas).
  • Dukungan frontend yang lebih baik
    • Tingkatkan kompatibilitas dengan berbagai frontend authoring, termasuk Keras, tf.numpy.

Pertunjukan

  • Perkakas yang lebih baik
    • Dasbor publik untuk melacak peningkatan kinerja dengan setiap rilis.
    • Alat untuk lebih memahami kompatibilitas grafik dengan akselerator target.
  • Peningkatan kinerja CPU
    • XNNPack diaktifkan secara default untuk inferensi floating point yang lebih cepat.
    • Dukungan setengah presisi (float16) ujung ke ujung dengan kernel yang dioptimalkan.
  • Dukungan NN API yang diperbarui
    • Dukungan penuh untuk fitur, operasi, dan jenis NN API versi Android yang lebih baru.
  • optimasi GPU
    • Peningkatan waktu startup dengan dukungan serialisasi delegasi.
    • Interop buffer perangkat keras untuk inferensi nol-salinan.
    • Ketersediaan yang lebih luas dari akselerasi perangkat.
    • Cakupan operasi yang lebih baik.

Pengoptimalan

  • Kuantisasi

    • Kuantisasi pasca-pelatihan selektif untuk mengecualikan lapisan tertentu dari kuantisasi.
    • Debugger kuantisasi untuk memeriksa kerugian kesalahan kuantisasi per setiap lapisan.
    • Menerapkan pelatihan sadar-kuantisasi pada lebih banyak cakupan model, misalnya Taman Model TensorFlow.
    • Peningkatan kualitas dan kinerja untuk kuantisasi rentang dinamis pasca pelatihan.
    • API Kompresi Tensor untuk memungkinkan algoritme kompresi seperti SVD.
  • Pemangkasan / sparsity

    • Gabungkan API waktu pelatihan (pemangkasan + pelatihan sadar kuantisasi) yang dapat dikonfigurasi.
    • Meningkatkan aplikasi sparity pada model TF Model Garden.
    • Dukungan eksekusi model yang jarang di TensorFlow Lite.

Portabilitas

  • Dukungan Mikrokontroler
    • Tambahkan dukungan untuk berbagai kasus penggunaan arsitektur MCU 32-bit untuk klasifikasi suara dan gambar.
    • Audio Frontend: Dukungan pra-pemrosesan dan akselerasi audio dalam grafik
    • Contoh kode dan model untuk data penglihatan dan audio.