Diperbarui: Mei, 2021
Berikut ini merupakan ikhtisar tingkat tinggi dari peta jalan kami. Anda harus menyadari bahwa peta jalan ini dapat berubah sewaktu-waktu dan urutan di bawah ini tidak mencerminkan jenis prioritas apa pun.
Kami membagi peta jalan kami menjadi empat segmen utama: kegunaan, kinerja, pengoptimalan, dan portabilitas. Kami sangat menyarankan anda untuk mengomentari roadmap kami dan memberikan umpan balik dalam kita kelompok diskusi TensorFlow Lite .
Kegunaan
- Cakupan operasi yang diperluas
- Tambahkan operasi yang ditargetkan berdasarkan umpan balik pengguna.
- Tambahkan set operasi yang ditargetkan untuk domain dan area tertentu termasuk Operasi acak, operasi lapisan Keras dasar, tabel hash, operasi pelatihan tertentu.
- Lebih banyak alat bantu
- Menyediakan anotasi grafik TensorFlow dan alat kompatibilitas untuk memvalidasi TFLite dan kompatibilitas akselerator perangkat keras selama pelatihan dan setelah konversi.
- Izinkan penargetan dan pengoptimalan untuk akselerator tertentu selama konversi.
- Pelatihan di perangkat
- Mendukung pelatihan di perangkat untuk personalisasi dan pembelajaran transfer, termasuk Colab yang mendemonstrasikan penggunaan menyeluruh.
- Variabel pendukung/jenis sumber daya (baik untuk inferensi dan pelatihan)
- Mendukung konversi dan eksekusi grafik dengan beberapa titik masuk fungsi (atau tanda tangan).
- Integrasi Android Studio yang ditingkatkan
- Seret dan lepas model TFLite ke Android Studio untuk menghasilkan antarmuka model.
- Tingkatkan dukungan pembuatan profil Android Studio, termasuk pembuatan profil memori.
- Pembuat Model
- Mendukung tugas yang lebih baru, termasuk deteksi objek, rekomendasi, dan klasifikasi audio, yang mencakup banyak koleksi penggunaan umum.
- Dukung lebih banyak kumpulan data untuk mempermudah pembelajaran transfer.
- Perpustakaan Tugas
- Mendukung lebih banyak jenis model (misalnya audio, NLP) dengan kemampuan pemrosesan pra dan pasca terkait.
- Perbarui lebih banyak contoh referensi dengan API Tugas.
- Mendukung akselerasi out-of-the-box untuk semua tugas.
- Lebih banyak model dan contoh SOTA
- Tambahkan lebih banyak contoh (misalnya audio, NLP, terkait struktur-data) untuk mendemonstrasikan penggunaan model serta fitur dan API baru, yang mencakup berbagai platform.
- Buat model tulang punggung yang dapat dibagikan untuk di perangkat guna mengurangi biaya pelatihan dan penerapan.
- Penerapan yang mulus di berbagai platform
- Jalankan model TensorFlow Lite di web.
- Dukungan lintas platform yang ditingkatkan
- Perluas dan tingkatkan API untuk Java di Android, Swift di iOS, Python di RPi.
- Tingkatkan dukungan CMake (misalnya, dukungan akselerator yang lebih luas).
- Dukungan frontend yang lebih baik
- Tingkatkan kompatibilitas dengan berbagai frontend authoring, termasuk Keras, tf.numpy.
Pertunjukan
- Perkakas yang lebih baik
- Dasbor publik untuk melacak peningkatan kinerja dengan setiap rilis.
- Alat untuk lebih memahami kompatibilitas grafik dengan akselerator target.
- Peningkatan kinerja CPU
- XNNPack diaktifkan secara default untuk inferensi floating point yang lebih cepat.
- Dukungan setengah presisi (float16) ujung ke ujung dengan kernel yang dioptimalkan.
- Dukungan NN API yang diperbarui
- Dukungan penuh untuk fitur, operasi, dan jenis NN API versi Android yang lebih baru.
- optimasi GPU
- Peningkatan waktu startup dengan dukungan serialisasi delegasi.
- Interop buffer perangkat keras untuk inferensi nol-salinan.
- Ketersediaan yang lebih luas dari akselerasi perangkat.
- Cakupan operasi yang lebih baik.
Pengoptimalan
Kuantisasi
- Kuantisasi pasca-pelatihan selektif untuk mengecualikan lapisan tertentu dari kuantisasi.
- Debugger kuantisasi untuk memeriksa kerugian kesalahan kuantisasi per setiap lapisan.
- Menerapkan pelatihan sadar-kuantisasi pada lebih banyak cakupan model, misalnya Taman Model TensorFlow.
- Peningkatan kualitas dan kinerja untuk kuantisasi rentang dinamis pasca pelatihan.
- API Kompresi Tensor untuk memungkinkan algoritme kompresi seperti SVD.
Pemangkasan / sparsity
- Gabungkan API waktu pelatihan (pemangkasan + pelatihan sadar kuantisasi) yang dapat dikonfigurasi.
- Meningkatkan aplikasi sparity pada model TF Model Garden.
- Dukungan eksekusi model yang jarang di TensorFlow Lite.
Portabilitas
- Dukungan Mikrokontroler
- Tambahkan dukungan untuk berbagai kasus penggunaan arsitektur MCU 32-bit untuk klasifikasi suara dan gambar.
- Audio Frontend: Dukungan pra-pemrosesan dan akselerasi audio dalam grafik
- Contoh kode dan model untuk data penglihatan dan audio.