פילוח

פילוח תמונה הוא תהליך של חלוקת תמונה דיגיטלית למקטעים מרובים (קבוצות של פיקסלים, המכונה גם אובייקטי תמונה). מטרת הפילוח היא לפשט ו/או לשנות את הייצוג של תמונה למשהו משמעותי יותר וקל יותר לניתוח.

התמונה הבאה מציגה את הפלט של מודל פילוח התמונה באנדרואיד. המודל יצור מסכה על אובייקטי המטרה בדיוק גבוה.

להתחיל

אם אתה חדש ב-TensorFlow Lite ועובד עם אנדרואיד או iOS, מומלץ לחקור את היישומים לדוגמה הבאים שיכולים לעזור לך להתחיל.

אתה יכול למנף את ה-API מחוץ לקופסה מספריית המשימות של TensorFlow Lite כדי לשלב מודלים של פילוח תמונות בתוך כמה שורות קוד בלבד. אתה יכול גם לשלב את המודל באמצעות TensorFlow Lite Interpreter Java API .

הדוגמה של Android למטה מדגימה את היישום עבור שתי השיטות כמו lib_task_api ו- lib_interpreter , בהתאמה.

ראה דוגמה לאנדרואיד

צפה בדוגמה של iOS

אם אתה משתמש בפלטפורמה שאינה אנדרואיד או iOS, או שאתה כבר מכיר את ממשקי API של TensorFlow Lite , אתה יכול להוריד את מודל פילוח התמונות המתחיל שלנו.

הורד את דגם המתחיל

תיאור הדגם

DeepLab הוא מודל למידה עמוקה מתקדם לפילוח תמונה סמנטית, כאשר המטרה היא להקצות תוויות סמנטיות (למשל אדם, כלב, חתול) לכל פיקסל בתמונת הקלט.

איך זה עובד

פילוח תמונה סמנטי מנבא אם כל פיקסל של תמונה משויך למחלקה מסוימת. זאת בניגוד לזיהוי אובייקטים , שמזהה אובייקטים באזורים מלבניים, וסיווג תמונה , שמסווג את התמונה הכוללת.

היישום הנוכחי כולל את התכונות הבאות:

  1. DeepLabv1: אנו משתמשים בפיתול עצבני כדי לשלוט באופן מפורש ברזולוציה שבה מחושבות תגובות תכונה בתוך Deep Convolutional Neural Networks.
  2. DeepLabv2: אנו משתמשים ב-Atrous Spatial Pyramid Pooling (ASPP) כדי לפלח אובייקטים בצורה חזקה במספר קנה מידה עם מסננים בקצבי דגימה מרובים ושדות ראייה יעילים.
  3. DeepLabv3: אנו מגדילים את מודול ASPP עם תכונה ברמת התמונה [5, 6] כדי ללכוד מידע מטווח ארוך יותר. אנו כוללים גם פרמטרים של נורמליזציה אצווה [7] כדי להקל על האימון. בפרט, אנו מיישמים קונבולוציית אטרו כדי לחלץ תכונות פלט בצעדי פלט שונים במהלך אימון והערכה, מה שמאפשר ביעילות אימון BN בצעד פלט = 16 ומשיג ביצועים גבוהים בצעד פלט = 8 במהלך הערכה.
  4. DeepLabv3+: אנו מרחיבים את DeepLabv3 לכלול מודול מפענח פשוט אך יעיל כדי לחדד את תוצאות הפילוח במיוחד לאורך גבולות האובייקט. יתר על כן, במבנה המקודד-מפענח הזה ניתן לשלוט באופן שרירותי ברזולוציה של תכונות מקודד שחולצו על ידי פיתול אטרוס לדיוק וזמן ריצה.

מדדי ביצועים

מספרי אמת מידה לביצועים נוצרים עם הכלי המתואר כאן .

שם המודל גודל הדגם התקן GPU מעבד
Deeplab v3 2.7 מגה-ביט Pixel 3 (אנדרואיד 10) 16ms 37ms*
Pixel 4 (אנדרואיד 10) 20ms 23ms*
iPhone XS (iOS 12.4.1) 16ms 25ms**

* 4 חוטים בשימוש.

** 2 שרשורים בשימוש באייפון לקבלת תוצאת הביצועים הטובה ביותר.

קריאה נוספת ומשאבים