Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

Дорожная карта TensorFlow Lite

Обновлено: май 2021 г.

Ниже представлен общий обзор нашей дорожной карты. Вы должны знать, что эта дорожная карта может измениться в любое время, и приведенный ниже порядок не отражает какого-либо типа приоритета.

Мы разбиваем нашу дорожную карту на четыре ключевых сегмента: удобство использования, производительность, оптимизация и переносимость. Мы настоятельно рекомендуем вам прокомментировать нашу дорожную карту и предоставить нам обратную связь в дискуссионной группе TensorFlow Lite .

Юзабилити

  • Расширенное покрытие операций
    • Добавляйте целевые операции на основе отзывов пользователей.
    • Добавьте целевые наборы операций для определенных доменов и областей, включая случайные операции, операции базового слоя Keras, хэш-таблицы, выберите операции обучения.
  • Дополнительные вспомогательные инструменты
    • Предоставьте аннотации графиков TensorFlow и инструменты совместимости для проверки совместимости TFLite и аппаратного ускорителя во время обучения и после преобразования.
    • Разрешить таргетинг и оптимизацию для определенных ускорителей во время конвертации.
  • Обучение на устройстве
    • Поддержка обучения на устройстве для персонализации и передачи обучения, включая Colab, демонстрирующий сквозное использование.
    • Поддержка типов переменных / ресурсов (как для вывода, так и для обучения)
    • Поддержка преобразования и выполнения графиков с несколькими точками входа в функции (или сигнатуры).
  • Расширенная интеграция с Android Studio
    • Перетащите модели TFLite в Android Studio для создания интерфейсов моделей.
    • Улучшите поддержку профилирования Android Studio, включая профилирование памяти.
  • Создатель моделей
    • Поддержка новых задач, включая обнаружение объектов, рекомендацию и классификацию аудио, охватывающих широкий спектр общих применений.
    • Поддержите больше наборов данных, чтобы упростить переносное обучение.
  • Библиотека задач
    • Поддержка большего количества типов моделей (например, аудио, NLP) с соответствующими возможностями предварительной и постобработки.
    • Обновите дополнительные справочные примеры с помощью API задач.
    • Поддержка ускорения "из коробки" для всех задач.
  • Больше моделей и примеров SOTA
    • Добавьте больше примеров (например, аудио, NLP, связанные со структурными данными), чтобы продемонстрировать использование модели, а также новые функции и API, охватывающие различные платформы.
    • Создавайте совместно используемые модели магистральных сетей для мобильных устройств, чтобы сократить расходы на обучение и развертывание.
  • Беспроблемное развертывание на нескольких платформах
    • Запускайте модели TensorFlow Lite в Интернете.
  • Улучшенная кроссплатформенная поддержка
    • Расширяйте и улучшайте API для Java на Android, Swift на iOS, Python на RPi.
    • Улучшение поддержки CMake (например, более широкая поддержка ускорителей).
  • Лучшая поддержка внешнего интерфейса
    • Улучшите совместимость с различными интерфейсами разработки, включая Keras, tf.numpy.

Представление

  • Лучшая оснастка
    • Общедоступная панель инструментов для отслеживания роста производительности с каждым выпуском.
    • Инструменты для лучшего понимания совместимости графов с целевыми ускорителями.
  • Повышенная производительность ЦП
    • XNNPack включен по умолчанию для более быстрого вывода с плавающей запятой.
    • Сквозная поддержка половинной точности (float16) с оптимизированными ядрами.
  • Обновленная поддержка NN API
    • Полная поддержка новых функций, операций и типов API NN версии Android.
  • Оптимизация графического процессора
    • Уменьшено время запуска благодаря поддержке сериализации делегатов.
    • Взаимодействие с аппаратным буфером для вывода с нулевым копированием.
    • Более широкая доступность ускорения на устройстве.
    • Лучшее операционное покрытие.

Оптимизация

  • Квантование

    • Селективное квантование после обучения для исключения определенных слоев из квантования.
    • Отладчик квантования для проверки потерь ошибок квантования на каждом уровне.
    • Применение обучения с учетом квантования для большего покрытия модели, например, TensorFlow Model Garden.
    • Улучшения качества и производительности для посттренировочного квантования динамического диапазона.
    • API-интерфейс Tensor Compression, позволяющий использовать такие алгоритмы сжатия, как SVD.
  • Обрезка / редкость

    • Комбинируйте настраиваемые API-интерфейсы времени обучения (обрезка + обучение с учетом квантования).
    • Применение увеличения плотности на моделях TF Model Garden.
    • Поддержка выполнения разреженных моделей в TensorFlow Lite.

Портативность

  • Поддержка микроконтроллеров
    • Добавьте поддержку ряда сценариев использования 32-битной архитектуры MCU для классификации речи и изображений.
    • Аудио Frontend: встроенная поддержка предварительной обработки звука и ускорения
    • Пример кода и моделей для визуальных и аудиоданных.