Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Оценка позы

Оценка позы - это задача использования модели машинного обучения для оценки позы человека из изображения или видео путем оценки пространственного расположения ключевых суставов тела (ключевых точек).

Начать

Если вы новичок в TensorFlow Lite и работаете с Android или iOS, изучите следующие примеры приложений, которые помогут вам начать работу.

Android пример IOS пример

Если вы знакомы с Lite API , TensorFlow , скачать стартер MoveNet модель оценки позы и вспомогательные файлы.

Скачать стартовую модель

Если вы хотите попробовать оценить позу на веб - браузере, проверить TensorFlow JS Demo .

Описание модели

Как это работает

Оценка позы относится к методам компьютерного зрения, которые обнаруживают человеческие фигуры на изображениях и видео, чтобы можно было определить, например, где на изображении виден чей-то локоть. Важно помнить о том, что оценка позы просто оценивает ключевые суставы тела и не распознает, кто находится на изображении или видео.

Модели оценки позы принимают обработанное изображение камеры в качестве входных данных и выводят информацию о ключевых точках. Обнаруженные ключевые точки индексируются по идентификатору детали с оценкой достоверности от 0,0 до 1,0. Оценка достоверности указывает на вероятность того, что ключевая точка существует в этой позиции.

Мы предоставляем эталонную реализацию двух моделей оценки позы TensorFlow Lite:

  • MoveNet: современная модель оценки позы, доступная в двух вариантах: «Освещение» и «Гром». См. Сравнение этих двух в разделе ниже.
  • PoseNet: модель оценки позы предыдущего поколения, выпущенная в 2017 году.

Различные суставы тела, обнаруженные моделью оценки позы, представлены в таблице ниже:

Идентификатор Часть
0 нос
1 левый глаз
2 правый глаз
3 левое ухо
4 Правое ухо
5 левое плечо
6 правое плечо
7 leftElbow
8 правый локоть
9 левое запястье
10 правое запястье
11 leftHip
12 правое бедро
13 левое колено
14 правое колено
15 leftAnkle
16 правая лодыжка

Пример вывода показан ниже:

Анимация, показывающая оценку позы

Тесты производительности

MoveNet доступен в двух вариантах:

  • MoveNet.Lightning меньше, быстрее, но менее точен, чем версия Thunder. Он может работать в реальном времени на современных смартфонах.
  • MoveNet.Thunder - более точная версия, но также крупнее и медленнее, чем Lightning. Это полезно для случаев использования, требующих более высокой точности.

MoveNet превосходит PoseNet по множеству наборов данных, особенно по изображениям с изображениями фитнеса. Поэтому мы рекомендуем использовать MoveNet вместо PoseNet.

Номера тестов производительности создаются с помощью инструмента , описанного здесь . Точность (МАП) числа измерены на подмножестве COCO набора данных , в котором мы фильтр и обрезать каждое изображение , чтобы содержать только один человек.

Модель Размер (МБ) карта Задержка (мс)
Pixel 5 - процессор 4 потока Pixel 5 - графический процессор Raspberry Pi 4 - процессор 4 потока
MoveNet.Thunder (с квантованием FP16) 12,6 МБ 72,0 155 мс 45 мс 594 мс
MoveNet.Thunder (квантованный INT8) 7.1 МБ 68,9 100 мс 52 мс 251 мс
MoveNet.Lightning (квантованный FP16) 4,8 МБ 63,0 60 мс 25 мс 186 мс
MoveNet.Lightning (квантованный INT8) 2,9 МБ 57,4 52 мс 28 мс 95 мс
PoseNet (магистраль MobileNetV1, FP32) 13,3 МБ 45,6 80 мс 40 мс 338 мс

Дополнительная литература и ресурсы

  • Проверьте это сообщение в блоге , чтобы узнать о более оценке Позы с помощью MoveNet и TensorFlow Lite.
  • Проверьте это сообщение в блоге , чтобы узнать о более оценке позы в Интернете.
  • Проверьте этот учебник , чтобы узнать о запуске MoveNet на Python с использованием модели из TensorFlow Hub.
  • Coral / EdgeTPU может значительно ускорить выполнение оценки позы на устройствах IoT. См EdgeTPU оптимизированные модели для более подробной информации.
  • Прочитайте PoseNet документ здесь

Также ознакомьтесь с этими вариантами использования оценки позы.