Grazie per esserti sintonizzato su Google I/O. Visualizza tutte le sessioni su richiesta Guarda su richiesta

Tabella di marcia di TensorFlow Lite

Aggiornato: maggio 2021

Quanto segue rappresenta una panoramica di alto livello della nostra tabella di marcia. Tieni presente che questa tabella di marcia può cambiare in qualsiasi momento e che l'ordine seguente non riflette alcun tipo di priorità.

Rompiamo la nostra roadmap in quattro segmenti chiave: usabilità, prestazioni, ottimizzazione e portabilità. Vi incoraggiamo fortemente commentare nostra tabella di marcia e ci fornire un feedback nel gruppo di discussione tensorflow Lite .

Usabilità

  • Copertura operativa estesa
    • Aggiungi operazioni mirate in base al feedback degli utenti.
    • Aggiungi set di operazioni mirate per domini e aree specifici, tra cui operazioni casuali, operazioni di livello base Keras, tabelle hash, operazioni di addestramento selezionate.
  • Strumenti più assistivi
    • Fornisci annotazioni grafiche TensorFlow e strumenti di compatibilità per convalidare la compatibilità di TFLite e dell'acceleratore hardware durante la formazione e dopo la conversione.
    • Consenti il ​​targeting e l'ottimizzazione per acceleratori specifici durante la conversione.
  • Formazione sul dispositivo
    • Supporta la formazione sul dispositivo per la personalizzazione e il trasferimento dell'apprendimento, incluso un Colab che dimostra l'utilizzo end-to-end.
    • Supporta tipi di risorse/variabili (sia per l'inferenza che per l'addestramento)
    • Supporta la conversione e l'esecuzione di grafici con più punti di ingresso di funzioni (o firme).
  • Integrazione avanzata di Android Studio
    • Trascina e rilascia i modelli TFLite in Android Studio per generare interfacce modello.
    • Migliora il supporto per la profilazione di Android Studio, inclusa la profilazione della memoria.
  • Modellista
    • Supporta attività più recenti, tra cui rilevamento di oggetti, consigli e classificazione audio, coprendo un'ampia raccolta di usi comuni.
    • Supporta più set di dati per facilitare il trasferimento dell'apprendimento.
  • Libreria compiti
    • Supporta più tipi di modelli (ad es. audio, NLP) con funzionalità di pre e post elaborazione associate.
    • Aggiorna più esempi di riferimento con le API delle attività.
    • Supporta l'accelerazione immediata per tutte le attività.
  • Altri modelli ed esempi SOTA
    • Aggiungi altri esempi (ad es. audio, PNL, dati relativi alla struttura) per dimostrare l'utilizzo del modello, nonché nuove funzionalità e API, che coprono diverse piattaforme.
    • Crea modelli di backbone condivisibili sul dispositivo per ridurre i costi di formazione e distribuzione.
  • Distribuzione senza soluzione di continuità su più piattaforme
    • Esegui i modelli TensorFlow Lite sul Web.
  • Supporto multipiattaforma migliorato
    • Estendi e migliora le API per Java su Android, Swift su iOS, Python su RPi.
    • Migliora il supporto di CMake (ad esempio, un supporto più ampio per gli acceleratori).
  • Migliore supporto frontend
    • Migliora la compatibilità con vari frontend di authoring, inclusi Keras, tf.numpy.

Prestazione

  • Strumenti migliori
    • Dashboard pubblico per monitorare i miglioramenti delle prestazioni con ogni versione.
    • Strumenti per una migliore comprensione della compatibilità del grafico con gli acceleratori di destinazione.
  • Miglioramento delle prestazioni della CPU
    • XNNPack abilitato per impostazione predefinita per un'inferenza in virgola mobile più veloce.
    • Supporto end-to-end a mezza precisione (float16) con kernel ottimizzati.
  • Supporto API NN aggiornato
    • Supporto completo per le nuove funzionalità, operazioni e tipi dell'API NN della versione Android.
  • Ottimizzazioni GPU
    • Tempo di avvio migliorato con il supporto della serializzazione delegata.
    • Interoperabilità del buffer hardware per l'inferenza a copia zero.
    • Più ampia disponibilità di accelerazione sul dispositivo.
    • Migliore copertura operativa.

Ottimizzazione

  • Quantizzazione

    • Quantizzazione selettiva post-allenamento per escludere determinati livelli dalla quantizzazione.
    • Debugger di quantizzazione per ispezionare le perdite di errori di quantizzazione per ogni livello.
    • Applicazione della formazione basata sulla quantizzazione su una maggiore copertura del modello, ad esempio TensorFlow Model Garden.
    • Miglioramenti della qualità e delle prestazioni per la quantizzazione dell'intervallo dinamico post-allenamento.
    • Tensor Compression API per consentire algoritmi di compressione come SVD.
  • Potatura / scarsità

    • Combina API di training-time configurabili (pruning + training-aware per la quantizzazione).
    • Aumentare la scarsa applicazione sui modelli TF Model Garden.
    • Supporto per l'esecuzione di modelli sparsi in TensorFlow Lite.

Portabilità

  • Supporto per microcontrollori
    • Aggiungi il supporto per una gamma di casi d'uso dell'architettura MCU a 32 bit per la classificazione di voce e immagini.
    • Frontend audio: pre-elaborazione audio in-graph e supporto per l'accelerazione
    • Codice e modelli di esempio per dati visivi e audio.