פילוח תמונות הוא תהליך של חלוקת תמונה דיגיטלית למספר פלחים (סטים של פיקסלים, המכונים גם אובייקטים של תמונה). מטרת הפילוח היא לפשט ו / או לשנות את ייצוג התמונה למשהו שהוא משמעותי יותר וקל יותר לניתוח.
התמונה הבאה מציגה את הפלט של מודל פילוח התמונה באנדרואיד. המודל ייצור מסכה מעל אובייקטי המטרה בדיוק רב.
להתחיל
אם אתה חדש ב- TensorFlow Lite ועובד עם Android או iOS, מומלץ לבחון את היישומים הבאים של הדוגמה שיכולים לעזור לך להתחיל.
אתה יכול למנף את ה- API מחוץ לקופסה מספריית המשימות של TensorFlow Lite לשילוב מודלים של פילוח תמונות בתוך כמה שורות קוד בלבד. ניתן גם לשלב את המודל באמצעות TensorFlow Lite מתורגמן Java API .
דוגמת Android למטה מדגימה את היישום לשתי השיטות כמו lib_task_api ו- lib_interpreter בהתאמה.
אם אתה משתמש בפלטפורמה שאינה אנדרואיד או iOS, או שאתה כבר מכיר את ממשקי ה- API של TensorFlow Lite , תוכל להוריד את מודל פילוח התמונות המתחיל שלנו.
תיאור המודל
DeepLab הוא מודל למידה עמוקה עדכני לפילוח תמונות סמנטי, כאשר המטרה היא להקצות תוויות סמנטיות (למשל אדם, כלב, חתול) לכל פיקסל בתמונת הקלט.
איך זה עובד
פילוח תמונה סמנטי מנבא אם כל פיקסל של תמונה משויך למחלקה מסוימת. זאת בניגוד לזיהוי אובייקטים , המאתר עצמים באזורים מלבניים, וסיווג התמונה , המסווג את התמונה הכוללת.
היישום הנוכחי כולל את התכונות הבאות:
- DeepLabv1: אנו משתמשים בפיתול עצום כדי לשלוט במפורש ברזולוציה בה מחושבות תגובות תכונות בתוך רשתות עצביות קונבנציונליות.
- DeepLabv2: אנו משתמשים באגירת פירמידות מרחבית אדירות (ASPP) לפילוח חזק של אובייקטים בקנה מידה מרובה עם פילטרים בקצב דגימה מרובה ושדות צפייה יעילים.
- DeepLabv3: אנו מגדילים את מודול ה- ASPP עם התכונה ברמת התמונה [5, 6] כדי ללכוד מידע לטווח ארוך יותר. אנו כוללים גם פרמטרים של נורמליזציית אצווה [7] כדי להקל על האימון. בפרט, אנו מיישמים פיתול עצום כדי לחלץ תכונות פלט בצעדי פלט שונים במהלך האימון וההערכה, המאפשרים ביעילות אימון BN בצעד פלט = 16 ומגיע לביצועים גבוהים בצעדי פלט = 8 במהלך ההערכה.
- DeepLabv3 +: אנו מרחיבים את DeepLabv3 כדי לכלול מודול מפענח פשוט אך יעיל כדי לשכלל את תוצאות הפילוח במיוחד לאורך גבולות האובייקט. יתר על כן, במבנה מקודד-מפענח זה ניתן לשלוט באופן שרירותי ברזולוציה של תכונות מקודדים שחולצו על ידי התמוטטות אדירה לדיוק וזמן ריצה.
אמות מידה לביצועים
מספרי ביצועים מיוצרים בעזרת הכלי המתואר כאן .
| שם המודל | גודל הדגם | התקן | GPU | מעבד |
|---|---|---|---|---|
| Deeplab v3 | 2.7 Mb | פיקסל 3 (אנדרואיד 10) | 16ms | 37ms * |
| פיקסל 4 (אנדרואיד 10) | 20ms | 23ms * | ||
| iPhone XS (iOS 12.4.1) | 16ms | 25ms ** |
* 4 חוטים בשימוש.
** 2 אשכולות המשמשים ב- iPhone לקבלת תוצאת הביצועים הטובה ביותר.