Google I / O revient du 18 au 20 mai! Réservez de l'espace et construisez votre emploi du temps Inscrivez-vous maintenant

Feuille de route TensorFlow Lite

Mis à jour: 18 avril 2020

Ce qui suit représente un aperçu de haut niveau de notre plan 2020. Sachez que cette feuille de route peut changer à tout moment et que l'ordre ci-dessous ne reflète aucun type de priorité. Par principe, nous priorisons généralement les problèmes en fonction du nombre d'utilisateurs concernés.

Nous divisons notre feuille de route en quatre segments clés: convivialité, performance, optimisation et portabilité. Nous vous encourageons vivement à commenter notre feuille de route et à nous faire part de vos commentaires dans le groupe de discussion TF Lite .

Convivialité

  • Couverture des opérations étendue
    • Ajouts d'opérations prioritaires en fonction des commentaires des utilisateurs
  • Améliorations apportées à l'utilisation des opérations TensorFlow dans TensorFlow Lite
    • Bibliothèques pré-construites disponibles via Bintray (Android) et Cocoapods (iOS)
    • Taille binaire plus petite lors de l'utilisation de certaines opérations TF via le décapage des opérations
  • Prise en charge LSTM / RNN
    • Prise en charge complète de la conversion LSTM et RNN, y compris la prise en charge de Keras
  • Bibliothèques de support pré et post-traitement et outil de codegen
    • Blocs de construction d'API prêts à l'emploi pour les tâches de ML courantes
    • Prend en charge plus de modèles (par exemple PNL) et plus de plates-formes (par exemple iOS)
  • Intégration Android Studio
    • Faites glisser et déposez des modèles TFLite dans Android Studio pour générer des classes de liaison de modèle
  • Contrôle du flux et de la formation sur l'appareil
    • Prise en charge de la formation sur appareil, axée sur la personnalisation et l'apprentissage par transfert
  • Outils de visualisation avec TensorBoard
    • Fournir un outillage amélioré avec TensorBoard
  • Maquettiste
    • Prend en charge plus de tâches, y compris la détection d'objets et les tâches NLP basées sur BERT
  • Plus de modèles et d'exemples
    • Plus d'exemples pour illustrer l'utilisation du modèle ainsi que les nouvelles fonctionnalités et API, couvrant différentes plates-formes.
  • Bibliothèque de tâches
    • Améliorez la convivialité de la bibliothèque de tâches C ++, en fournissant par exemple des binaires prédéfinis et en créant des flux de travail conviviaux pour les utilisateurs qui souhaitent créer à partir du code source.
    • Publiez des exemples de référence d'utilisation de la bibliothèque de tâches.
    • Activez plus de types de tâches.
    • Améliorez la prise en charge multiplateforme et activez plus de tâches pour iOS.

Performance

  • Meilleur outillage
    • Tableau de bord public pour suivre les gains de performances avec chaque version
  • Amélioration des performances du processeur
    • Nouvelle bibliothèque de noyau en virgule flottante hautement optimisée pour les modèles convolutifs
    • Prise en charge x86 de première classe
  • Prise en charge de l'API NN mise à jour
    • Prise en charge complète des nouvelles fonctionnalités, opérations et types de l'API Android R NN
  • Optimisations du backend GPU
    • Prise en charge de Vulkan sur Android
    • Prise en charge des modèles quantifiés entiers
  • Backend Hexagon DSP
    • Prise en charge de la quantification par canal pour tous les modèles créés grâce à la quantification post-entraînement
    • Prise en charge de la taille de lot d'entrée dynamique
    • Meilleure couverture opérationnelle, y compris LSTM
  • Backend Core ML
    • Optimiser le temps de démarrage
    • Prise en charge des modèles quantifiés dynamiques
    • Prise en charge des modèles quantifiés Float16
    • Meilleure couverture des opérations

Optimisation

  • Quantification

    • Quantification post-entraînement pour les RNN à virgule fixe (8b)
    • Quantification pendant l'entraînement pour les RNN à virgule fixe (8b)
    • Améliorations de la qualité et des performances pour la quantification de la plage dynamique après l'entraînement
  • Taille / parcimonie

    • Prise en charge de l'exécution de modèles fragmentés dans TensorFlow Lite - WIP

    • API de clustering de poids

Portabilité

  • Prise en charge des microcontrôleurs
    • Ajout de la prise en charge d'une gamme de cas d'utilisation d'architecture MCU 32 bits pour la classification de la parole et des images
    • Exemple de code et modèles pour les données visuelles et audio
    • Prise en charge complète de TF Lite sur les microcontrôleurs
    • Prise en charge de plus de plates-formes, y compris la prise en charge de CircuitPython