Guia do TensorFlow Lite

O TensorFlow Lite é um conjunto de ferramentas para ajudar os desenvolvedores a executar modelos do TensorFlow em dispositivos móveis, incorporados e de IoT. Ele ativa a inferência de machine learning no dispositivo com baixa latência e um tamanho do binário reduzido.

O TensorFlow Lite tem dois componentes principais:

  • O interpretador do TensorFlow Lite, que executa modelos especialmente otimizados em diversos tipos de hardware, incluindo smartphones, dispositivos Linux incorporados e microcontroladores.
  • O conversor TensorFlow Lite, que converte modelos do TensorFlow em uma forma eficiente para ser usado pelo intérprete e introduz otimizações para melhorar o tamanho e o desempenho binários.

Machine learning na borda

O TensorFlow Lite foi projetado para facilitar o desempenho de machine learning em dispositivos "na borda" da rede, em vez de enviar e receber dados de um servidor. Para desenvolvedores, realizar machine learning no dispositivo pode ajudar a melhorar o seguinte:

  • Latência: não há ida e volta para um servidor.
  • Privacidade: nenhum dado precisa sair do dispositivo.
  • Conectividade: não exige conexão de Internet.
  • Consumo de energia: as conexões de rede consomem muita energia.

O TensorFlow Lite funciona com uma grande variedade de dispositivos, desde microcontroladores minúsculos até smartphones potentes.

Primeiros passos

Para começar a trabalhar com o TensorFlow Lite em dispositivos móveis, acesse os Primeiros passos. Se você quiser implantar modelos do TensorFlow Lite em microcontroladores, acesse Microcontroladores.

Principais recursos

  • Interpretador ajustado para ML no dispositivo, compatível com um conjunto de operadores principais otimizados para aplicativos no dispositivo e com um tamanho de binário reduzido
  • Suporte a diversas plataformas, inclusive dispositivos Android, dispositivos iOS, Linux incorporado e microcontroladores, usando APIs da plataforma para uma inferência acelerada
  • APIs para várias linguagens, incluindo Java, Swift, Objective-C, C ++ e Python
  • Alto desempenho com aceleração de hardware em dispositivos compatíveis, kernels otimizados para dispositivos e ativações e vieses pré-combinados
  • Ferramentas de otimização de modelos, incluindo a quantização, que podem reduzir o tamanho e melhorar o desempenho dos modelos sem sacrificar a acurácia
  • Formato de modelo eficiente, usando um FlatBuffer otimizado para portabilidade e tamanho reduzido
  • Modelos pré-treinados para tarefas comuns de machine learning que podem ser personalizadas para seu app
  • Amostras e tutoriais que mostram como implantar modelos de machine learning em plataformas compatíveis

Fluxo de trabalho de desenvolvimento

O fluxo de trabalho para usar o TensorFlow Lite envolve as seguintes etapas:

  1. Escolher um modelo

    Coloque seu próprio modelo do TensorFlow, encontre um modelo on-line ou escolha um dos nossos modelos pré-treinados para usar ou treinar novamente.

  2. Converter o modelo

    Se você estiver usando um modelo personalizado, use o conversor do TensorFlow Lite e algumas linhas de Python para convertê-lo ao formato do TensorFlow Lite.

  3. Implantar no dispositivo

    Execute seu modelo no dispositivo com o interpretador do TensorFlow Lite, com APIs em várias linguagens.

  4. Otimizar o modelo

    Use nosso Kit de ferramentas de otimização de modelos para reduzir o tamanho do modelo e aumentar a eficiência dele com impacto mínimo na acurácia.

Para saber mais sobre o uso do TensorFlow Lite no seu projeto, consulte os Primeiros passos.

Restrições técnicas

O TensorFlow Lite planeja fornecer inferência de alto desempenho no dispositivo para qualquer modelo do TensorFlow. No entanto, o interpretador do TensorFlow Lite atualmente é compatível com um subconjunto limitado de operadores do TensorFlow que foram otimizados para uso no dispositivo. Isso significa que alguns modelos exigem etapas adicionais para trabalhar com o TensorFlow Lite.

Para saber quais operadores estão disponíveis, consulte aCompatibilidade do operador.

Se o modelo usa operadores que ainda não são compatíveis com o interpretador do TensorFlow Lite, use o TensorFlow Select para incluir operações do TensorFlow no build do TensorFlow Lite. No entanto, isso resultará em um tamanho de binário maior.

Atualmente, o TensorFlow Lite não permite o treinamento no dispositivo, mas está em nossos Planos futuros, junto a outras melhorias planejadas.

Próximas etapas

Quer continuar aprendendo sobre o TensorFlow Lite? Veja a seguir quais são as próximas etapas: