Yardım Kaggle üzerinde TensorFlow ile Büyük Bariyer Resifi korumak Meydan Üyelik

Poz tahmini

Poz tahmini, kilit vücut eklemlerinin (anahtar noktalar) uzamsal konumlarını tahmin ederek bir görüntü veya videodan bir kişinin pozunu tahmin etmek için bir ML modeli kullanma görevidir.

Başlamak

TensorFlow Lite'ta yeniyseniz ve Android veya iOS ile çalışıyorsanız, başlamanıza yardımcı olabilecek aşağıdaki örnek uygulamaları keşfedin.

Android örneği iOS örneği

Eğer aşina değilseniz TensorFlow Lite API'leri , marş MoveNet poz tahmin modelini ve destekleyici dosyaları indirmek.

Başlangıç ​​modelini indirin

Bir web tarayıcısında poz tahmini denemek istiyorsanız, check out TensorFlow JS Demo .

Model Açıklaması

Nasıl çalışır

Poz tahmini, örneğin bir kişinin dirseğinin bir görüntüde nerede göründüğünü belirleyebilmek için görüntülerdeki ve videolardaki insan figürlerini algılayan bilgisayarlı görme tekniklerine atıfta bulunur. Poz tahmininin yalnızca temel vücut eklemlerinin nerede olduğunu tahmin ettiğini ve bir görüntü veya videoda kimin olduğunu tanımadığının farkında olmak önemlidir.

Poz tahmin modelleri, giriş olarak işlenmiş bir kamera görüntüsü alır ve kilit noktalar hakkında bilgi verir. Tespit edilen anahtar noktalar, 0.0 ile 1.0 arasında bir güven puanı ile bir parça kimliği ile indekslenir. Güven puanı, o konumda bir kilit noktanın bulunma olasılığını gösterir.

İki TensorFlow Lite poz tahmin modelinin referans uygulamasını sunuyoruz:

  • MoveNet: İki farklı şekilde sunulan son teknoloji poz tahmin modeli: Aydınlatma ve Gök Gürültüsü. Aşağıdaki bölümde bu ikisi arasındaki karşılaştırmaya bakın.
  • PoseNet: 2017'de piyasaya sürülen önceki nesil poz tahmin modeli.

Poz tahmin modeli tarafından tespit edilen çeşitli vücut eklemleri aşağıda tablo halinde verilmiştir:

İD Bölüm
0 burun
1 sol göz
2 sağ göz
3 sol kulak
4 sağ kulak
5 sol omuz
6 sağ omuz
7 solDirsek
8 sağDirsek
9 sol bilek
10 Sağ bilek
11 sol kalça
12 sağ kalça
13 sol diz
14 sağ diz
15 sol ayak bileği
16 sağ ayak bileği

Örnek bir çıktı aşağıda gösterilmiştir:

Poz tahminini gösteren animasyon

Performans karşılaştırmaları

MoveNet iki şekilde mevcuttur:

  • MoveNet.Lightning, Thunder sürümünden daha küçük, daha hızlı ancak daha az doğru. Modern akıllı telefonlarda gerçek zamanlı olarak çalışabilir.
  • MoveNet.Thunder daha doğru sürümdür, ancak Lightning'den daha büyük ve daha yavaştır. Daha yüksek doğruluk gerektiren kullanım durumları için kullanışlıdır.

MoveNet, çeşitli veri kümelerinde, özellikle fitness aksiyon görüntüleri içeren görüntülerde PoseNet'ten daha iyi performans gösterir. Bu nedenle MoveNet'i PoseNet üzerinden kullanmanızı öneririz.

Performans kriter numaraları aracıyla oluşturulan Burada anlatılan . Doğruluk (MAP) numaraları bir alt kümesi üzerinde ölçülür COCO veri kümesi filtreleme ve sadece bir kişi içeren her görüntüyü kırpma hangi.

modeli Boyut (MB) harita Gecikme (ms)
Pixel 5 - CPU 4 iş parçacığı Piksel 5 - GPU Raspberry Pi 4 - CPU 4 iş parçacığı
MoveNet.Thunder (FP16 nicelleştirilmiş) 12.6MB 72.0 155ms 45ms 594ms
MoveNet.Thunder (INT8 nicelleştirilmiş) 7.1 MB 68.9 100ms 52 ms 251 ms
MoveNet.Lightning (FP16 nicelleştirilmiş) 4.8MB 63.0 60ms 25ms 186 ms
MoveNet.Lightning (INT8 nicelleştirilmiş) 2.9 MB 57.4 52 ms 28ms 95ms
PoseNet(MobileNetV1 omurgası, FP32) 13,3 MB 45.6 80ms 40ms 338ms

Daha fazla okuma ve kaynaklar

  • Şuna bak blog yazısı poz tahmini MoveNet kullanarak ve TensorFlow Lite hakkında daha fazla bilgi için.
  • Şuna bak blog yazısı web üzerinde poz tahmini hakkında daha fazla bilgi için.
  • Şuna bak öğretici TensorFlow Hub'dan bir model kullanılarak Python üzerinde MoveNet çalıştırma hakkında bilgi edinmek için.
  • Coral/EdgeTPU, IoT cihazlarında poz tahmininin çok daha hızlı çalışmasını sağlayabilir. Bkz modellerini EdgeTPU optimize edilmiş daha fazla ayrıntı için.
  • PoseNet kağıdı Oku burada

Ayrıca, poz tahmininin bu kullanım durumlarına göz atın.