Roteiro do TensorFlow Lite

Atualizado: maio de 2021

O que se segue representa uma visão geral de alto nível do nosso roteiro. Você deve estar ciente de que este roteiro pode mudar a qualquer momento e a ordem abaixo não reflete nenhum tipo de prioridade.

Dividimos nosso roteiro em quatro segmentos principais: usabilidade, desempenho, otimização e portabilidade. Recomendamos fortemente que você comente nosso roteiro e forneça feedback no grupo de discussão do TensorFlow Lite .

Usabilidade

  • Cobertura de operações expandida
    • Adicione operações direcionadas com base no feedback do usuário.
    • Adicione conjuntos de operações direcionados para domínios e áreas específicas, incluindo operações aleatórias, operações de camada base Keras, tabelas de hash e operações de treinamento selecionadas.
  • Ferramentas mais assistivas
    • Forneça anotações gráficas do TensorFlow e ferramentas de compatibilidade para validar a compatibilidade do TFLite e do acelerador de hardware durante o treinamento e após a conversão.
    • Permitir direcionamento e otimização para aceleradores específicos durante a conversão.
  • Treinamento no dispositivo
    • Apoie o treinamento no dispositivo para personalização e aprendizagem por transferência, incluindo um Colab demonstrando o uso de ponta a ponta.
    • Suporta tipos de variáveis/recursos (tanto para inferência quanto para treinamento)
    • Suporta conversão e execução de gráficos com múltiplos pontos de entrada de função (ou assinatura).
  • Integração aprimorada do Android Studio
    • Arraste e solte modelos TFLite no Android Studio para gerar interfaces de modelo.
    • Melhore o suporte à criação de perfil do Android Studio, incluindo criação de perfil de memória.
  • Criador de modelos
    • Oferece suporte a tarefas mais recentes, incluindo detecção de objetos, recomendação e classificação de áudio, abrangendo uma ampla coleção de usos comuns.
    • Apoie mais conjuntos de dados para facilitar a aprendizagem por transferência.
  • Biblioteca de Tarefas
    • Suporta mais tipos de modelos (por exemplo, áudio, PNL) com recursos de pré e pós-processamento associados.
    • Atualize mais exemplos de referência com APIs de tarefas.
    • Suporta aceleração pronta para uso para todas as tarefas.
  • Mais modelos e exemplos SOTA
    • Adicione mais exemplos (por exemplo, áudio, PNL, dados estruturais) para demonstrar o uso do modelo, bem como novos recursos e APIs, cobrindo diferentes plataformas.
    • Crie modelos de backbone compartilháveis ​​no dispositivo para reduzir custos de treinamento e implantação.
  • Implantação perfeita em diversas plataformas
    • Execute modelos do TensorFlow Lite na Web.
  • Suporte multiplataforma aprimorado
    • Estenda e melhore APIs para Java no Android, Swift no iOS, Python no RPi.
    • Melhorar o suporte ao CMake (por exemplo, suporte mais amplo ao acelerador).
  • Melhor suporte de front-end
    • Melhore a compatibilidade com vários frontends de autoria, incluindo Keras, tf.numpy.

Desempenho

  • Melhores ferramentas
    • Painel público para acompanhar ganhos de desempenho a cada lançamento.
    • Ferramentas para melhor compreensão da compatibilidade de gráficos com aceleradores de destino.
  • Melhor desempenho da CPU
    • XNNPack habilitado por padrão para inferência de ponto flutuante mais rápida.
    • Suporte de meia precisão ponta a ponta (float16) com kernels otimizados.
  • Suporte atualizado à API NN
    • Suporte total para recursos, operações e tipos da API NN da versão mais recente do Android.
  • Otimizações de GPU
    • Tempo de inicialização aprimorado com suporte à serialização de delegados.
    • Interoperabilidade de buffer de hardware para inferência de cópia zero.
    • Maior disponibilidade de aceleração no dispositivo.
    • Melhor cobertura operacional.

Otimização

  • Quantização

    • Quantização seletiva pós-treinamento para excluir certas camadas da quantização.
    • Depurador de quantização para inspecionar perdas de erros de quantização por cada camada.
    • Aplicando treinamento com reconhecimento de quantização em mais cobertura de modelo, por exemplo, TensorFlow Model Garden.
    • Melhorias de qualidade e desempenho para quantização de faixa dinâmica pós-treinamento.
    • API Tensor Compression para permitir algoritmos de compressão como SVD.

  • Poda / escassez

    • Combine APIs configuráveis ​​de tempo de treinamento (remoção + treinamento com reconhecimento de quantização).
    • Aumente a aplicação de paridade nos modelos TF Model Garden.
    • Suporte para execução de modelo esparso no TensorFlow Lite.

Portabilidade

  • Suporte para microcontrolador
    • Adicione suporte para uma variedade de casos de uso de arquitetura MCU de 32 bits para classificação de fala e imagem.
    • Frontend de áudio: suporte para pré-processamento e aceleração de áudio no gráfico
    • Código e modelos de amostra para dados de visão e áudio.