Aggiornato: maggio 2021
Quanto segue rappresenta una panoramica di alto livello della nostra tabella di marcia. Tieni presente che questa tabella di marcia può cambiare in qualsiasi momento e che l'ordine seguente non riflette alcun tipo di priorità.
Rompiamo la nostra roadmap in quattro segmenti chiave: usabilità, prestazioni, ottimizzazione e portabilità. Vi incoraggiamo fortemente commentare nostra tabella di marcia e ci fornire un feedback nel gruppo di discussione tensorflow Lite .
Usabilità
- Copertura operativa estesa
- Aggiungi operazioni mirate in base al feedback degli utenti.
- Aggiungi set di operazioni mirate per domini e aree specifici, tra cui operazioni casuali, operazioni di livello base Keras, tabelle hash, operazioni di addestramento selezionate.
- Strumenti più assistivi
- Fornisci annotazioni grafiche TensorFlow e strumenti di compatibilità per convalidare la compatibilità di TFLite e dell'acceleratore hardware durante la formazione e dopo la conversione.
- Consenti il targeting e l'ottimizzazione per acceleratori specifici durante la conversione.
- Formazione sul dispositivo
- Supporta la formazione sul dispositivo per la personalizzazione e il trasferimento dell'apprendimento, incluso un Colab che dimostra l'utilizzo end-to-end.
- Supporta tipi di risorse/variabili (sia per l'inferenza che per l'addestramento)
- Supporta la conversione e l'esecuzione di grafici con più punti di ingresso di funzioni (o firme).
- Integrazione avanzata di Android Studio
- Trascina e rilascia i modelli TFLite in Android Studio per generare interfacce modello.
- Migliora il supporto per la profilazione di Android Studio, inclusa la profilazione della memoria.
- Modellista
- Supporta attività più recenti, tra cui rilevamento di oggetti, consigli e classificazione audio, coprendo un'ampia raccolta di usi comuni.
- Supporta più set di dati per facilitare il trasferimento dell'apprendimento.
- Libreria compiti
- Supporta più tipi di modelli (ad es. audio, NLP) con funzionalità di pre e post elaborazione associate.
- Aggiorna più esempi di riferimento con le API delle attività.
- Supporta l'accelerazione immediata per tutte le attività.
- Altri modelli ed esempi SOTA
- Aggiungi altri esempi (ad es. audio, PNL, dati relativi alla struttura) per dimostrare l'utilizzo del modello, nonché nuove funzionalità e API, che coprono diverse piattaforme.
- Crea modelli di backbone condivisibili sul dispositivo per ridurre i costi di formazione e distribuzione.
- Distribuzione senza soluzione di continuità su più piattaforme
- Esegui i modelli TensorFlow Lite sul Web.
- Supporto multipiattaforma migliorato
- Estendi e migliora le API per Java su Android, Swift su iOS, Python su RPi.
- Migliora il supporto di CMake (ad esempio, un supporto più ampio per gli acceleratori).
- Migliore supporto frontend
- Migliora la compatibilità con vari frontend di authoring, inclusi Keras, tf.numpy.
Prestazione
- Strumenti migliori
- Dashboard pubblico per monitorare i miglioramenti delle prestazioni con ogni versione.
- Strumenti per una migliore comprensione della compatibilità del grafico con gli acceleratori di destinazione.
- Miglioramento delle prestazioni della CPU
- XNNPack abilitato per impostazione predefinita per un'inferenza in virgola mobile più veloce.
- Supporto end-to-end a mezza precisione (float16) con kernel ottimizzati.
- Supporto API NN aggiornato
- Supporto completo per le nuove funzionalità, operazioni e tipi dell'API NN della versione Android.
- Ottimizzazioni GPU
- Tempo di avvio migliorato con il supporto della serializzazione delegata.
- Interoperabilità del buffer hardware per l'inferenza a copia zero.
- Più ampia disponibilità di accelerazione sul dispositivo.
- Migliore copertura operativa.
Ottimizzazione
Quantizzazione
- Quantizzazione selettiva post-allenamento per escludere determinati livelli dalla quantizzazione.
- Debugger di quantizzazione per ispezionare le perdite di errori di quantizzazione per ogni livello.
- Applicazione della formazione basata sulla quantizzazione su una maggiore copertura del modello, ad esempio TensorFlow Model Garden.
- Miglioramenti della qualità e delle prestazioni per la quantizzazione dell'intervallo dinamico post-allenamento.
- Tensor Compression API per consentire algoritmi di compressione come SVD.
Potatura / scarsità
- Combina API di training-time configurabili (pruning + training-aware per la quantizzazione).
- Aumentare la scarsa applicazione sui modelli TF Model Garden.
- Supporto per l'esecuzione di modelli sparsi in TensorFlow Lite.
Portabilità
- Supporto per microcontrollori
- Aggiungi il supporto per una gamma di casi d'uso dell'architettura MCU a 32 bit per la classificazione di voce e immagini.
- Frontend audio: pre-elaborazione audio in-graph e supporto per l'accelerazione
- Codice e modelli di esempio per dati visivi e audio.