Tabella di marcia di TensorFlow Lite

Aggiornato: maggio 2021

Quanto segue rappresenta una panoramica di alto livello della nostra tabella di marcia. Dovresti essere consapevole che questa tabella di marcia può cambiare in qualsiasi momento e l'ordine riportato di seguito non riflette alcun tipo di priorità.

Suddividiamo la nostra tabella di marcia in quattro segmenti chiave: usabilità, prestazioni, ottimizzazione e portabilità. Ti invitiamo vivamente a commentare la nostra roadmap e a fornirci feedback nel gruppo di discussione di TensorFlow Lite .

Usabilità

  • Copertura operativa estesa
    • Aggiungi operazioni mirate in base al feedback degli utenti.
    • Aggiungi set di operazioni mirate per domini e aree specifici, tra cui operazioni casuali, operazioni di livello Keras di base, tabelle hash e operazioni di formazione selezionate.
  • Strumenti più assistivi
    • Fornisci annotazioni sui grafici TensorFlow e strumenti di compatibilità per convalidare la compatibilità di TFLite e dell'acceleratore hardware durante l'addestramento e dopo la conversione.
    • Consenti il ​​targeting e l'ottimizzazione per acceleratori specifici durante la conversione.
  • Formazione sul dispositivo
    • Supporta la formazione sul dispositivo per la personalizzazione e il trasferimento dell'apprendimento, incluso un Colab che dimostra l'utilizzo end-to-end.
    • Supporta tipi di variabili/risorse (sia per inferenza che per formazione)
    • Supporta la conversione e l'esecuzione di grafici con più punti di ingresso di funzioni (o firme).
  • Integrazione Android Studio migliorata
    • Trascina e rilascia i modelli TFLite in Android Studio per generare interfacce di modelli.
    • Migliora il supporto della profilazione di Android Studio, inclusa la profilazione della memoria.
  • Costruttore di modelli
    • Supporta attività più recenti, tra cui il rilevamento di oggetti, i consigli e la classificazione audio, coprendo un'ampia raccolta di usi comuni.
    • Supporta più set di dati per facilitare l'apprendimento del trasferimento.
  • Libreria attività
    • Supporta più tipi di modelli (ad esempio audio, NLP) con funzionalità di pre e post elaborazione associate.
    • Aggiorna più esempi di riferimento con le API delle attività.
    • Supporta l'accelerazione immediata per tutte le attività.
  • Altri modelli ed esempi SOTA
    • Aggiungi altri esempi (ad esempio audio, NLP, relativi ai dati strutturali) per dimostrare l'utilizzo del modello, nonché nuove funzionalità e API, che coprono diverse piattaforme.
    • Crea modelli backbone condivisibili sul dispositivo per ridurre i costi di formazione e implementazione.
  • Distribuzione senza interruzioni su più piattaforme
    • Esegui i modelli TensorFlow Lite sul Web.
  • Supporto multipiattaforma migliorato
    • Estendi e migliora le API per Java su Android, Swift su iOS, Python su RPi.
    • Migliorare il supporto di CMake (ad esempio, supporto più ampio dell'acceleratore).
  • Migliore supporto frontend
    • Migliora la compatibilità con vari frontend di creazione, inclusi Keras, tf.numpy.

Prestazione

  • Utensili migliori
    • Dashboard pubblica per monitorare i miglioramenti delle prestazioni con ogni versione.
    • Strumenti per comprendere meglio la compatibilità dei grafici con gli acceleratori target.
  • Prestazioni della CPU migliorate
    • XNNPack abilitato per impostazione predefinita per un'inferenza in virgola mobile più rapida.
    • Supporto end-to-end a mezza precisione (float16) con kernel ottimizzati.
  • Supporto API NN aggiornato
    • Supporto completo per le funzionalità, le operazioni e i tipi dell'API NN della versione Android più recente.
  • Ottimizzazioni della GPU
    • Tempo di avvio migliorato con il supporto della serializzazione dei delegati.
    • Interoperabilità del buffer hardware per inferenza con copia zero.
    • Maggiore disponibilità dell'accelerazione sul dispositivo.
    • Migliore copertura operativa.

Ottimizzazione

  • Quantizzazione

    • Quantizzazione selettiva post-allenamento per escludere determinati livelli dalla quantizzazione.
    • Debugger di quantizzazione per ispezionare le perdite di errori di quantizzazione per ogni strato.
    • Applicazione di formazione basata sulla quantizzazione su una maggiore copertura del modello, ad esempio TensorFlow Model Garden.
    • Miglioramenti della qualità e delle prestazioni per la quantizzazione della gamma dinamica post-allenamento.
    • API di compressione tensore per consentire algoritmi di compressione come SVD.

  • Potatura/rasparità

    • Combina API configurabili con tempo di addestramento (potatura + addestramento con riconoscimento della quantizzazione).
    • Aumenta l'applicazione di scarsità sui modelli TF Model Garden.
    • Supporto per l'esecuzione di modelli sparsi in TensorFlow Lite.

Portabilità

  • Supporto microcontrollore
    • Aggiungi il supporto per una gamma di casi d'uso dell'architettura MCU a 32 bit per la classificazione vocale e di immagini.
    • Frontend audio: supporto per la pre-elaborazione audio e l'accelerazione nel grafico
    • Codice e modelli di esempio per dati visivi e audio.