Posenschätzung

Pose Estimate ist die Aufgabe, mithilfe eines ML-Modells die Pose einer Person aus einem Bild oder einem Video zu schätzen, indem die räumlichen Positionen der wichtigsten Körpergelenke (Keypoints) geschätzt werden.

Loslegen

Wenn Sie neu bei TensorFlow Lite sind und mit Android oder iOS arbeiten, erkunden Sie die folgenden Beispielanwendungen, die Ihnen den Einstieg erleichtern können.

Android Beispiel iOS Beispiel

Wenn Sie mit dem vertraut sind TensorFlow Lite APIs , laden Sie die Starter MoveNet Pose Schätzmodell und unterstützende Dateien.

Startermodell herunterladen

Wenn Sie Pose Schätzung auf einem Web - Browser , um versuchen wollen, überprüfen Sie die aus TensorFlow JS Demo .

Modellbeschreibung

Wie es funktioniert

Pose Estimate bezieht sich auf Computer-Vision-Techniken, die menschliche Figuren in Bildern und Videos erkennen, um beispielsweise festzustellen, wo der Ellbogen einer Person in einem Bild zu sehen ist. Es ist wichtig, sich der Tatsache bewusst zu sein, dass die Posenschätzung lediglich schätzt, wo sich die wichtigsten Körpergelenke befinden, und nicht erkennt, wer sich in einem Bild oder Video befindet.

Die Modelle zur Posenschätzung verwenden ein verarbeitetes Kamerabild als Eingabe und geben Informationen über Schlüsselpunkte aus. Die erkannten Schlüsselpunkte werden durch eine Teile-ID mit einem Konfidenzwert zwischen 0,0 und 1,0 indiziert. Der Konfidenzwert gibt die Wahrscheinlichkeit an, dass an dieser Position ein Schlüsselpunkt vorhanden ist.

Wir bieten eine Referenzimplementierung von zwei TensorFlow Lite Posenschätzungsmodellen:

  • MoveNet: das hochmoderne Modell zur Posenschätzung, das in zwei Varianten erhältlich ist: Lighting und Thunder. Einen Vergleich zwischen diesen beiden finden Sie im folgenden Abschnitt.
  • PoseNet: das 2017 veröffentlichte Pose-Schätzmodell der vorherigen Generation.

Die verschiedenen Körpergelenke, die durch das Posenschätzungsmodell erkannt wurden, sind unten tabellarisch aufgeführt:

Ausweis Teil
0 Nase
1 linkes Auge
2 rechtes Auge
3 linkes Ohr
4 rechtes Ohr
5 linke Schulter
6 rechte Schulter
7 linker Ellbogen
8 rechter Ellbogen
9 linkes Handgelenk
10 rechtes Handgelenk
11 linke Hüfte
12 Rechte Hüfte
13 linkes Knie
14 rechtes Knie
fünfzehn linker Knöchel
16 rechter Knöchel

Eine Beispielausgabe ist unten dargestellt:

Animation mit Posenschätzung

Leistungsbenchmarks

MoveNet ist in zwei Varianten erhältlich:

  • MoveNet.Lightning ist kleiner, schneller, aber weniger genau als die Thunder-Version. Es kann in Echtzeit auf modernen Smartphones ausgeführt werden.
  • MoveNet.Thunder ist die genauere Version, aber auch größer und langsamer als Lightning. Es ist nützlich für Anwendungsfälle, die eine höhere Genauigkeit erfordern.

MoveNet übertrifft PoseNet bei einer Vielzahl von Datensätzen, insbesondere bei Bildern mit Fitness-Action-Bildern. Daher empfehlen wir, MoveNet über PoseNet zu verwenden.

Performance - Benchmark - Nummern werden mit dem Werkzeug erzeugt hier beschrieben . Genauigkeit (Karte) Zahlen sind auf einer Teilmenge des gemessenen COCO - Datensatz , in dem wir jedes Bild filtern und beschneiden , um nur eine Person zu enthalten.

Modell Größe (MB) Karte Latenz (ms)
Pixel 5 – CPU-4-Threads Pixel 5 – GPU Raspberry Pi 4 - CPU 4 Threads
MoveNet.Thunder (FP16 quantisiert) 12,6 MB 72,0 155ms 45ms 594ms
MoveNet.Thunder (INT8 quantisiert) 7,1 MB 68,9 100ms 52ms 251ms
MoveNet.Lightning (FP16 quantisiert) 4,8 MB 63,0 60ms 25ms 186ms
MoveNet.Lightning (INT8 quantisiert) 2,9 MB 57,4 52ms 28ms 95ms
PoseNet (MobileNetV1-Backbone, FP32) 13,3 MB 45,6 80ms 40ms 338ms

Weiterführende Literatur und Ressourcen

  • Check this out Blog - Post mehr über Pose Schätzung mit MoveNet und TensorFlow Lite zu lernen.
  • Check this out Blog - Post mehr über Pose Schätzung im Web zu lernen.
  • Check this out Tutorial erfahren Sie MoveNet auf Python läuft ein Modell aus TensorFlow Hub verwenden.
  • Mit Coral/EdgeTPU kann die Posenschätzung auf IoT-Geräten viel schneller ausgeführt werden. Siehe EdgeTPU optimierte Modelle für weitere Details.
  • Lesen Sie die PoseNet Papier hier

Sehen Sie sich auch diese Anwendungsfälle der Posenschätzung an.