Google I/O הוא עטיפה! התעדכן בהפעלות של TensorFlow. צפה בהפעלות

הִתפַּלְגוּת

פילוח תמונות הוא תהליך של חלוקת תמונה דיגיטלית למספר פלחים (סטים של פיקסלים, המכונים גם אובייקטים של תמונה). מטרת הפילוח היא לפשט ו / או לשנות את ייצוג התמונה למשהו שהוא משמעותי יותר וקל יותר לניתוח.

התמונה הבאה מציגה את הפלט של מודל פילוח התמונה באנדרואיד. המודל ייצור מסכה מעל אובייקטי המטרה בדיוק רב.

להתחיל

אם אתה חדש ב- TensorFlow Lite ועובד עם Android או iOS, מומלץ לבחון את היישומים הבאים של הדוגמה שיכולים לעזור לך להתחיל.

אתה יכול למנף את ה- API מחוץ לקופסה מספריית המשימות של TensorFlow Lite לשילוב מודלים של פילוח תמונות בתוך כמה שורות קוד בלבד. ניתן גם לשלב את המודל באמצעות TensorFlow Lite מתורגמן Java API .

דוגמת Android למטה מדגימה את היישום לשתי השיטות כמו lib_task_api ו- lib_interpreter בהתאמה.

צפו בדוגמה של Android

צפה בדוגמה של iOS

אם אתה משתמש בפלטפורמה שאינה אנדרואיד או iOS, או שאתה כבר מכיר את ממשקי ה- API של TensorFlow Lite , תוכל להוריד את מודל פילוח התמונות המתחיל שלנו.

הורד את דגם המתנע

תיאור המודל

DeepLab הוא מודל למידה עמוקה עדכני לפילוח תמונות סמנטי, כאשר המטרה היא להקצות תוויות סמנטיות (למשל אדם, כלב, חתול) לכל פיקסל בתמונת הקלט.

איך זה עובד

פילוח תמונה סמנטי מנבא אם כל פיקסל של תמונה משויך למחלקה מסוימת. זאת בניגוד לזיהוי אובייקטים , המאתר עצמים באזורים מלבניים, וסיווג התמונה , המסווג את התמונה הכוללת.

היישום הנוכחי כולל את התכונות הבאות:

  1. DeepLabv1: אנו משתמשים בפיתול עצום כדי לשלוט במפורש ברזולוציה בה מחושבות תגובות תכונות בתוך רשתות עצביות קונבנציונליות.
  2. DeepLabv2: אנו משתמשים באגירת פירמידות מרחבית אדירות (ASPP) לפילוח חזק של אובייקטים בקנה מידה מרובה עם פילטרים בקצב דגימה מרובה ושדות צפייה יעילים.
  3. DeepLabv3: אנו מגדילים את מודול ה- ASPP עם התכונה ברמת התמונה [5, 6] כדי ללכוד מידע לטווח ארוך יותר. אנו כוללים גם פרמטרים של נורמליזציית אצווה [7] כדי להקל על האימון. בפרט, אנו מיישמים פיתול עצום כדי לחלץ תכונות פלט בצעדי פלט שונים במהלך האימון וההערכה, המאפשרים ביעילות אימון BN בצעד פלט = 16 ומגיע לביצועים גבוהים בצעדי פלט = 8 במהלך ההערכה.
  4. DeepLabv3 +: אנו מרחיבים את DeepLabv3 כדי לכלול מודול מפענח פשוט אך יעיל כדי לשכלל את תוצאות הפילוח במיוחד לאורך גבולות האובייקט. יתר על כן, במבנה מקודד-מפענח זה ניתן לשלוט באופן שרירותי ברזולוציה של תכונות מקודדים שחולצו על ידי התמוטטות אדירה לדיוק וזמן ריצה.

אמות מידה לביצועים

מספרי ביצועים מיוצרים בעזרת הכלי המתואר כאן .

שם המודל גודל הדגם התקן GPU מעבד
Deeplab v3 2.7 Mb פיקסל 3 (אנדרואיד 10) 16ms 37ms *
פיקסל 4 (אנדרואיד 10) 20ms 23ms *
iPhone XS (iOS 12.4.1) 16ms 25ms **

* 4 חוטים בשימוש.

** 2 אשכולות המשמשים ב- iPhone לקבלת תוצאת הביצועים הטובה ביותר.

המשך קריאה ומשאבים