RSVP для вашего местного мероприятия TensorFlow Everywhere сегодня!
Эта страница переведена с помощью Cloud Translation API.
Switch to English

Руководство по TensorFlow Lite

TensorFlow Lite - это набор инструментов, помогающих разработчикам запускать модели TensorFlow на мобильных, встроенных устройствах и устройствах Интернета вещей. Он обеспечивает логический вывод машинного обучения на устройстве с малой задержкой и небольшим двоичным размером.

TensorFlow Lite состоит из двух основных компонентов:

  • Интерпретатор TensorFlow Lite , который запускает специально оптимизированные модели на многих различных типах оборудования, включая мобильные телефоны, встроенные устройства Linux и микроконтроллеры.
  • Конвертер TensorFlow Lite , который преобразует модели TensorFlow в эффективную форму для использования интерпретатором, и может вносить оптимизации для улучшения размера двоичного файла и производительности.

Машинное обучение на передовой

TensorFlow Lite разработан, чтобы упростить машинное обучение на устройствах «на границе» сети вместо того, чтобы отправлять данные с сервера туда и обратно. Для разработчиков машинное обучение на устройстве может помочь улучшить:

  • Задержка: нет возврата к серверу
  • Конфиденциальность: данные не должны покидать устройство
  • Возможности подключения: подключение к Интернету не требуется
  • Энергопотребление: сетевые соединения потребляют много энергии

TensorFlow Lite работает с огромным количеством устройств, от крошечных микроконтроллеров до мощных мобильных телефонов.

Начать

Чтобы начать работу с TensorFlow Lite на мобильных устройствах, посетите раздел «Начало работы» . Если вы хотите развернуть модели TensorFlow Lite на микроконтроллерах, посетите Microcontrollers .

Ключевая особенность

  • Интерпретатор настроен для машинного обучения на устройстве , поддерживает набор основных операторов, оптимизированных для приложений на устройстве, и имеет небольшой двоичный размер.
  • Поддержка разнообразных платформ , включая устройства Android и iOS , встроенный Linux и микроконтроллеры, с использованием API платформы для ускоренного вывода.
  • API-интерфейсы для нескольких языков, включая Java, Swift, Objective-C, C ++ и Python.
  • Высокая производительность с аппаратным ускорением на поддерживаемых устройствах, ядрами, оптимизированными для устройств, а также предварительно интегрированными активациями и смещениями .
  • Инструменты оптимизации моделей , включая квантование , которые могут уменьшить размер и повысить производительность моделей без ущерба для точности.
  • Эффективный формат модели с использованием FlatBuffer , оптимизированного для небольшого размера и портативности.
  • Предварительно обученные модели для общих задач машинного обучения, которые можно настроить для вашего приложения.
  • Примеры и руководства , показывающие, как развертывать модели машинного обучения на поддерживаемых платформах.

Рабочий процесс разработки

Рабочий процесс использования TensorFlow Lite включает следующие шаги:

  1. Выберите модель

    Принесите свою собственную модель TensorFlow, найдите модель в Интернете или выберите модель из наших предварительно обученных моделей, чтобы зайти в нее или пройти повторное обучение .

  2. Преобразуйте модель

    Если вы используете настраиваемую модель, используйте конвертер TensorFlow Lite и несколько строк Python, чтобы преобразовать ее в формат TensorFlow Lite.

  3. Развернуть на свое устройство

    Запустите свою модель на устройстве с помощью интерпретатора TensorFlow Lite с API-интерфейсами на многих языках.

  4. Оптимизируйте вашу модель

    Используйте наш набор инструментов для оптимизации моделей, чтобы уменьшить размер модели и повысить ее эффективность с минимальным влиянием на точность.

Чтобы узнать больше об использовании TensorFlow Lite в вашем проекте, см. Начало работы .

Технические ограничения

TensorFlow Lite планирует обеспечить высокую производительность вывода на устройстве для любой модели TensorFlow. Однако интерпретатор TensorFlow Lite в настоящее время поддерживает ограниченное подмножество операторов TensorFlow, оптимизированных для использования на устройстве. Это означает, что некоторые модели требуют дополнительных действий для работы с TensorFlow Lite.

Чтобы узнать, какие операторы доступны, см. Совместимость операторов .

Если в вашей модели используются операторы, которые еще не поддерживаются интерпретатором TensorFlow Lite, вы можете использовать TensorFlow Select для включения операций TensorFlow в вашу сборку TensorFlow Lite. Однако это приведет к увеличению двоичного размера.

TensorFlow Lite в настоящее время не поддерживает обучение на устройстве, но он включен в нашу дорожную карту вместе с другими запланированными улучшениями.

Следующие шаги

Хотите продолжать узнавать о TensorFlow Lite? Вот несколько следующих шагов: