עזרה להגן על שונית המחסום הגדולה עם TensorFlow על Kaggle הצטרפו אתגר

הערכת תנוחה

הערכת תנוחה היא המשימה של שימוש במודל ML להערכת תנוחת האדם מתמונה או מסרטון על ידי הערכת המיקומים המרחבים של מפרקי גוף המפתח (נקודות מפתח).

להתחיל

אם אתה חדש ב- TensorFlow Lite ועובד עם אנדרואיד או iOS, חקור את היישומים לדוגמא הבאים שיכולים לעזור לך להתחיל.

אנדרואיד דוגמא דוגמא iOS

אם אתה מכיר את APIs לייט TensorFlow , להוריד את מודל תנוחת ערכת Starter MoveNet וקבצים תומכים.

הורד את דגם המתנע

אם אתה רוצה לנסות ערכת תנוחה על דפדפן אינטרנט, לבדוק את הדגמת JS TensorFlow .

תיאור דגם

איך זה עובד

הערכת תנוחה מתייחסת לטכניקות ראייה ממוחשבות המזהות דמויות אנושיות בתמונות ובסרטונים, כך שניתן לקבוע, למשל, היכן המרפק של מישהו מופיע בתמונה. חשוב להיות מודעים לעובדה שאומדן תנוחות הוא רק הערכה היכן נמצאים מפרקי הגוף המרכזיים ואינם מזהים מי נמצא בתמונה או בסרטון.

המודלים להערכת תנוחות לוקחים תמונת מצלמה מעובדת כקלט ומוציא מידע על נקודות מפתח. נקודות המפתח שזוהו מאונדסות לפי מזהה חלק, עם ציון ביטחון בין 0.0 ל -1.0. ציון הביטחון מציין את ההסתברות שקיימת נקודת מפתח באותה עמדה.

אנו מספקים יישום הפניה לשני מודלים להערכת תנוחות TensorFlow Lite:

  • MoveNet: מודל הערכת התנוחות החדיש ביותר הזמין בשני טעמים: תאורה ורעם. ראה השוואה בין שני אלה בסעיף להלן.
  • PoseNet: מודל הערכת התנוחות מהדור הקודם שפורסם בשנת 2017.

מפרקי הגוף השונים שזוהו על ידי מודל הערכת התנוחות מובאים להלן:

תְעוּדַת זֶהוּת חֵלֶק
0 אף
1 שמאל עין
2 עין ימין
3 אוזן שמאלית
4 אוזן ימנית
5 כתף שמאלית
6 rightShoulder
7 מרפק שמאל
8 מרפק ימני
9 מפרק כף היד השמאלית
10 ימין
11 שמאל היפ
12 היפ
13 ברך שמאלית
14 ברך ימני
15 שמאל קרסול
16 קרסול ימני

פלט לדוגמה מוצג להלן:

אנימציה המציגה אומדן תנוחות

מדדי ביצועים

MoveNet זמין בשני טעמים:

  • MoveNet.Lightning קטנה יותר, מהירה יותר אך פחות מדויקת מגרסת Thunder. הוא יכול לפעול בזמן אמת על סמארטפונים מודרניים.
  • MoveNet.Thunder היא הגרסה המדויקת יותר אך גם גדולה ואיטית יותר מברק. זה שימושי למקרי שימוש הדורשים דיוק גבוה יותר.

MoveNet עולה על PoseNet במגוון מערכי נתונים, במיוחד בתמונות עם תמונות אקשן כושר. לכן אנו ממליצים להשתמש ב- MoveNet על פני PoseNet.

מספרי benchmark ביצועים נוצרים עם הכלי המתואר כאן . מספרים דיוק (מפה) נמדדים על קבוצת משנה של הנתונים COCO שבו אנחנו לסנן ולחתוך כל תמונה כדי להכיל רק אדם אחד.

דֶגֶם גודל (MB) מַפָּה איחורים (ms)
פיקסל 5 - פתילים של מעבד 4 פיקסל 5 - GPU Raspberry Pi 4 - פתילים של מעבד 4
MoveNet.Thunder (FP16 לכמת) 12.6MB 72.0 155ms 45 ms 594ms
MoveNet.Thunder (INT8 לכמת) 7.1MB 68.9 100 ms 52 ms 251ms
MoveNet.Lightning (FP16 לכמת) 4.8MB 63.0 60 ms 25 ms 186ms
MoveNet.Lightning (INT8 לכמת) 2.9MB 57.4 52 ms 28 ms 95 ms
PoseNet (עמוד השדרה MobileNetV1, FP32) 13.3MB 45.6 80 ms 40 ms 338ms

קריאה נוספת ומשאבים

  • עזיבה זו בבלוג כדי ללמוד עוד על הערכת התנוחה באמצעות MoveNet ו TensorFlow לייט.
  • עזיבה זו בבלוג כדי ללמוד עוד על הערכת תנוחה באינטרנט.
  • עזיבה זו הדרכה כדי ללמוד על ריצת MoveNet על Python באמצעות מודל מרכזת TensorFlow.
  • Coral/EdgeTPU יכול לגרום להערכת תנוחות לרוץ הרבה יותר מהר במכשירי IoT. ראה EdgeTPU אופטימיזציה מודלים לקבלת פרטים נוספים.
  • קרא בעיתון PoseNet כאן

כמו כן, בדוק מקרי שימוש אלה של אומדן תנוחות.