TensorFlow Lite - это набор инструментов, помогающих разработчикам запускать модели TensorFlow на мобильных, встроенных устройствах и устройствах Интернета вещей. Он обеспечивает логический вывод машинного обучения на устройстве с малой задержкой и небольшим двоичным размером.
TensorFlow Lite состоит из двух основных компонентов:
- Интерпретатор TensorFlow Lite , который запускает специально оптимизированные модели на многих различных типах оборудования, включая мобильные телефоны, встроенные устройства Linux и микроконтроллеры.
- Конвертер TensorFlow Lite , который преобразует модели TensorFlow в эффективную форму для использования интерпретатором, и может вносить оптимизации для улучшения размера двоичного файла и производительности.
Машинное обучение на передовой
TensorFlow Lite разработан, чтобы упростить машинное обучение на устройствах «на границе» сети вместо того, чтобы отправлять данные с сервера туда и обратно. Для разработчиков машинное обучение на устройстве может помочь улучшить:
- Задержка: нет возврата к серверу
- Конфиденциальность: данные не должны покидать устройство
- Возможности подключения: подключение к Интернету не требуется
- Энергопотребление: сетевые соединения потребляют много энергии
TensorFlow Lite работает с огромным количеством устройств, от крошечных микроконтроллеров до мощных мобильных телефонов.
Начать
Чтобы начать работу с TensorFlow Lite на мобильных устройствах, посетите раздел «Начало работы» . Если вы хотите развернуть модели TensorFlow Lite на микроконтроллерах, посетите Microcontrollers .
Ключевая особенность
- Интерпретатор настроен для машинного обучения на устройстве , поддерживает набор основных операторов, оптимизированных для приложений на устройстве, и имеет небольшой двоичный размер.
- Поддержка разнообразных платформ , включая устройства Android и iOS , встроенный Linux и микроконтроллеры, с использованием API платформы для ускоренного вывода.
- API-интерфейсы для нескольких языков, включая Java, Swift, Objective-C, C ++ и Python.
- Высокая производительность с аппаратным ускорением на поддерживаемых устройствах, ядрами, оптимизированными для устройств, а также предварительно интегрированными активациями и смещениями .
- Инструменты оптимизации моделей , включая квантование , которые могут уменьшить размер и повысить производительность моделей без ущерба для точности.
- Эффективный формат модели с использованием FlatBuffer , оптимизированного для небольшого размера и портативности.
- Предварительно обученные модели для общих задач машинного обучения, которые можно настроить для вашего приложения.
- Примеры и руководства , показывающие, как развертывать модели машинного обучения на поддерживаемых платформах.
Рабочий процесс разработки
Рабочий процесс использования TensorFlow Lite включает следующие шаги:
Выберите модель
Принесите свою собственную модель TensorFlow, найдите модель в Интернете или выберите модель из наших предварительно обученных моделей, чтобы зайти в нее или пройти повторное обучение .
Преобразуйте модель
Если вы используете настраиваемую модель, используйте конвертер TensorFlow Lite и несколько строк Python, чтобы преобразовать ее в формат TensorFlow Lite.
Развернуть на свое устройство
Запустите свою модель на устройстве с помощью интерпретатора TensorFlow Lite с API-интерфейсами на многих языках.
Оптимизируйте вашу модель
Используйте наш набор инструментов для оптимизации моделей, чтобы уменьшить размер модели и повысить ее эффективность с минимальным влиянием на точность.
Чтобы узнать больше об использовании TensorFlow Lite в вашем проекте, см. Начало работы .
Технические ограничения
TensorFlow Lite планирует обеспечить высокую производительность вывода на устройстве для любой модели TensorFlow. Однако интерпретатор TensorFlow Lite в настоящее время поддерживает ограниченное подмножество операторов TensorFlow, оптимизированных для использования на устройстве. Это означает, что некоторые модели требуют дополнительных действий для работы с TensorFlow Lite.
Чтобы узнать, какие операторы доступны, см. Совместимость операторов .
Если в вашей модели используются операторы, которые еще не поддерживаются интерпретатором TensorFlow Lite, вы можете использовать TensorFlow Select для включения операций TensorFlow в вашу сборку TensorFlow Lite. Однако это приведет к увеличению двоичного размера.
TensorFlow Lite в настоящее время не поддерживает обучение на устройстве, но он включен в нашу дорожную карту вместе с другими запланированными улучшениями.
Следующие шаги
Хотите продолжать узнавать о TensorFlow Lite? Вот несколько следующих шагов:
- Посетите Начать работу, чтобы пройти через процесс использования TensorFlow Lite.
- Если вы разработчик мобильных устройств, посетите краткое руководство по Android или iOS .
- Узнайте о TensorFlow Lite для микроконтроллеров .
- Ознакомьтесь с нашими предварительно обученными моделями .
- Попробуйте наши примеры приложений .