Roteiro do TensorFlow Lite

Atualizado: maio de 2021

O que se segue representa uma visão geral de alto nível do nosso roteiro. Você deve estar ciente de que este roteiro pode mudar a qualquer momento e a ordem abaixo não reflete nenhum tipo de prioridade.

Dividimos nosso roteiro em quatro segmentos principais: usabilidade, desempenho, otimização e portabilidade. Incentivamos você a comentar sobre nosso roteiro e nos fornecer feedback no grupo de discussão TensorFlow Lite .

Usabilidade

  • Cobertura de operações expandida
    • Adicione operações direcionadas com base no feedback do usuário.
    • Adicione conjuntos de operações direcionados para domínios e áreas específicos, incluindo operações aleatórias, operações da camada base Keras, tabelas de hash, operações de treinamento selecionadas.
  • Ferramentas mais assistivas
    • Fornece anotações de gráfico do TensorFlow e ferramentas de compatibilidade para validar o TFLite e a compatibilidade do acelerador de hardware durante o treinamento e após a conversão.
    • Permitir segmentação e otimização para aceleradores específicos durante a conversão.
  • Treinamento no dispositivo
    • Suporte ao treinamento no dispositivo para personalização e aprendizagem de transferência, incluindo um Colab que demonstra o uso de ponta a ponta.
    • Suporta tipos de variáveis ​​/ recursos (tanto para inferência quanto para treinamento)
    • Suporte a conversão e execução de gráficos com pontos de entrada de múltiplas funções (ou assinatura).
  • Integração aprimorada do Android Studio
    • Arraste e solte modelos TFLite no Android Studio para gerar interfaces de modelo.
    • Melhore o suporte de criação de perfil do Android Studio, incluindo criação de perfil de memória.
  • Model Maker
    • Oferece suporte a tarefas mais recentes, incluindo detecção de objetos, recomendação e classificação de áudio, cobrindo uma ampla coleção de uso comum.
    • Ofereça suporte a mais conjuntos de dados para facilitar a aprendizagem por transferência.
  • Biblioteca de Tarefas
    • Suporta mais tipos de modelo (por exemplo, áudio, PNL) com recursos de pré e pós-processamento associados.
    • Atualize mais exemplos de referência com APIs de tarefas.
    • Suporta aceleração out-of-the-box para todas as tarefas.
  • Mais modelos e exemplos SOTA
    • Adicione mais exemplos (por exemplo, áudio, PNL, dados de estrutura relacionados) para demonstrar o uso do modelo, bem como novos recursos e APIs, cobrindo diferentes plataformas.
    • Crie modelos de backbone compartilháveis ​​para no dispositivo para reduzir os custos de treinamento e implantação.
  • Implantação perfeita em várias plataformas
    • Execute modelos do TensorFlow Lite na Web.
  • Suporte aprimorado de plataforma cruzada
    • Estenda e melhore APIs para Java no Android, Swift no iOS, Python no RPi.
    • Aprimore o suporte do CMake (por exemplo, suporte mais amplo do acelerador).
  • Melhor suporte de frontend
    • Melhore a compatibilidade com vários front-ends de criação, incluindo Keras, tf.numpy.

Desempenho

  • Melhor ferramenta
    • Painel público para acompanhar os ganhos de desempenho com cada versão.
    • Ferramentas para melhor compreensão da compatibilidade do gráfico com aceleradores de destino.
  • Melhor desempenho da CPU
    • XNNPack habilitado por padrão para inferência de ponto flutuante mais rápida.
    • Suporte de meia precisão ponta a ponta (float16) com kernels otimizados.
  • Suporte de API NN atualizado
    • Suporte completo para recursos, operações e tipos de API NN de versão mais recente do Android.
  • Otimizações de GPU
    • Tempo de inicialização aprimorado com suporte para serialização de delegado.
    • Interoperabilidade de buffer de hardware para inferência de cópia zero.
    • Maior disponibilidade de aceleração no dispositivo.
    • Melhor cobertura operacional.

Otimização

  • Quantização

    • Quantização seletiva pós-treinamento para excluir certas camadas da quantização.

    • Depurador de quantização para inspecionar perdas de erros de quantização por cada camada.

    • Aplicar treinamento com reconhecimento de quantização em mais cobertura de modelo, por exemplo, TensorFlow Model Garden.

    • Melhorias de qualidade e desempenho para quantização de faixa dinâmica pós-treinamento.

    • API Tensor Compression para permitir algoritmos de compressão, como SVD.

  • Poda / esparsidade

    • Combine APIs de tempo de treinamento configuráveis ​​(poda + treinamento com reconhecimento de quantização).
    • Aumente a aplicação de sparity em modelos TF Model Garden.
    • Suporte para execução de modelo esparso no TensorFlow Lite.

Portabilidade

  • Suporte de microcontrolador
    • Adicione suporte para uma variedade de casos de uso de arquitetura MCU de 32 bits para voz e classificação de imagem.
    • Interface de áudio: pré-processamento de áudio no gráfico e suporte de aceleração
    • Código de amostra e modelos para dados de visão e áudio.