O TensorFlow Lite é um conjunto de ferramentas para ajudar os desenvolvedores a executar modelos do TensorFlow em dispositivos móveis, incorporados e de IoT. Ele ativa a inferência de machine learning no dispositivo com baixa latência e um tamanho do binário reduzido.
O TensorFlow Lite tem dois componentes principais:
- O interpretador do TensorFlow Lite, que executa modelos especialmente otimizados em diversos tipos de hardware, incluindo smartphones, dispositivos Linux incorporados e microcontroladores.
- O conversor TensorFlow Lite, que converte modelos do TensorFlow em uma forma eficiente para ser usado pelo intérprete e introduz otimizações para melhorar o tamanho e o desempenho binários.
Machine learning na borda
O TensorFlow Lite foi projetado para facilitar o desempenho de machine learning em dispositivos "na borda" da rede, em vez de enviar e receber dados de um servidor. Para desenvolvedores, realizar machine learning no dispositivo pode ajudar a melhorar o seguinte:
- Latência: não há ida e volta para um servidor.
- Privacidade: nenhum dado precisa sair do dispositivo.
- Conectividade: não exige conexão de Internet.
- Consumo de energia: as conexões de rede consomem muita energia.
O TensorFlow Lite funciona com uma grande variedade de dispositivos, desde microcontroladores minúsculos até smartphones potentes.
Primeiros passos
Para começar a trabalhar com o TensorFlow Lite em dispositivos móveis, acesse os Primeiros passos. Se você quiser implantar modelos do TensorFlow Lite em microcontroladores, acesse Microcontroladores.
Principais recursos
- Interpretador ajustado para ML no dispositivo, compatível com um conjunto de operadores principais otimizados para apps no dispositivo e com um tamanho de binário reduzido.
- Suporte a diversas plataformas, inclusive dispositivos Android, dispositivos iOS, Linux incorporado e microcontroladores, usando APIs da plataforma para uma inferência acelerada.
- APIs para várias linguagens, incluindo Java, Swift, Objective-C, C ++ e Python.
- Alto desempenho com aceleração de hardware em dispositivos compatíveis, kernels otimizados para dispositivos e ativações e vieses pré-combinados.
- Ferramentas de otimização de modelos, incluindo a quantização, que podem reduzir o tamanho e melhorar o desempenho dos modelos sem sacrificar a acurácia.
- Formato de modelo eficiente, usando um FlatBuffer otimizado para portabilidade e tamanho reduzido.
- Modelos pré-treinados para tarefas comuns de machine learning que podem ser personalizadas para seu app.
- Amostras e tutoriais que mostram como implantar modelos de machine learning em plataformas compatíveis.
Fluxo de trabalho de desenvolvimento
O fluxo de trabalho para usar o TensorFlow Lite envolve as seguintes etapas:
Escolher um modelo
Coloque seu próprio modelo do TensorFlow, encontre um modelo on-line ou escolha um dos nossos modelos pré-treinados para usar ou treinar novamente.
Converter o modelo
Se você estiver usando um modelo personalizado, use o conversor do TensorFlow Lite e algumas linhas de Python para convertê-lo ao formato do TensorFlow Lite.
Implantar no dispositivo
Execute seu modelo no dispositivo com o interpretador do TensorFlow Lite, com APIs em várias linguagens.
Otimizar o modelo
Use nosso Kit de ferramentas de otimização de modelos para reduzir o tamanho do modelo e aumentar a eficiência dele com impacto mínimo na acurácia.
Para saber mais sobre o uso do TensorFlow Lite no seu projeto, consulte os Primeiros passos.
Restrições técnicas
O TensorFlow Lite planeja fornecer inferência de alto desempenho no dispositivo para qualquer modelo do TensorFlow. No entanto, o interpretador do TensorFlow Lite atualmente é compatível com um subconjunto limitado de operadores do TensorFlow que foram otimizados para uso no dispositivo. Isso significa que alguns modelos exigem etapas adicionais para trabalhar com o TensorFlow Lite.
Para saber quais operadores estão disponíveis, consulte aCompatibilidade do operador.
Se o modelo usa operadores que ainda não são compatíveis com o interpretador do TensorFlow Lite, use o TensorFlow Select para incluir operações do TensorFlow no build do TensorFlow Lite. No entanto, isso resultará em um tamanho de binário maior.
Atualmente, o TensorFlow Lite não permite o treinamento no dispositivo, mas está em nossos Planos futuros, junto a outras melhorias planejadas.
Próximas etapas
Quer continuar aprendendo sobre o TensorFlow Lite? Veja a seguir quais são as próximas etapas:
- Acesse os Primeiros passos para saber como usar o TensorFlow Lite.
- Se você for um desenvolvedor para dispositivos móveis, acesse o Guia de início rápido do Android ou o Guia de início rápido do iOS.
- Saiba mais sobre o TensorFlow Lite para microcontroladores.
- Explore nossos modelos pré-treinados.
- Teste nossos aplicativos de exemplo.