ראייה ממוחשבת עם TensorFlow

TensorFlow מספקת מספר כלי ראייה ממוחשבת (CV) וכלים לסיווג תמונות. מסמך זה מציג חלק מהכלים הללו ומספק סקירה כללית של משאבים שיעזרו לך להתחיל עם משימות קורות חיים נפוצות.

ספריות וכלים של חזון

TensorFlow מספקת כלי קורות חיים דרך ספריות Keras ברמה גבוהה יותר ומודול tf.image ברמה נמוכה יותר. עבור רוב מקרי השימוש, ספריות Keras יהיו נוחות יותר מהחלופות המובנות של TensorFlow. אבל אם האפשרויות של Keras לא מתאימות למקרה השימוש שלך, או שאתה רוצה שליטה ברמה נמוכה יותר על עיבוד מקדים של תמונה, ייתכן שתצטרך את הכלים של TensorFlow ברמה נמוכה יותר.

KerasCV

אם אתה רק התחלת עם פרויקט קורות חיים, ואתה לא בטוח לאילו ספריות וכלים תזדקק, KerasCV הוא מקום טוב להתחיל בו. KerasCV היא ספרייה של רכיבי CV מודולריים הבנויים על Keras Core. KerasCV כולל מודלים, שכבות, מדדים, callbacks וכלים אחרים שמרחיבים את ה-Keras API ברמה גבוהה למשימות קורות חיים. ממשקי ה-API של KerasCV יכולים לעזור בהגדלת נתונים, סיווג, זיהוי אובייקטים, פילוח, יצירת תמונות וזרימות עבודה נפוצות אחרות של קורות חיים. אתה יכול להשתמש ב-KerasCV כדי להרכיב במהירות צינורות הכשרה והסקת מסקנות בדרגת ייצור מתקדמים.

כלי עזר של קראס

tf.keras.utils מספק מספר כלי עזר לעיבוד מקדים של תמונות ברמה גבוהה. לדוגמה, tf.keras.utils.image_dataset_from_directory מייצר tf.data.Dataset מספריית תמונות בדיסק.

tf.image

אם KerasCV אינו מתאים למקרה השימוש שלך, אתה יכול להשתמש tf.image ו- tf.data כדי לכתוב צינורות או שכבות להגדלת נתונים משלך.

מודול tf.image מכיל פונקציות שונות לעיבוד תמונה, כגון tf.image.flip_left_right , tf.image.rgb_to_grayscale , tf.image.adjust_brightness , tf.image.central_crop ו- tf.image.stateless_random* .

ה-API tf.data מאפשר לך לבנות צינורות קלט מורכבים מחלקים פשוטים הניתנים לשימוש חוזר.

מערכי נתונים של TensorFlow

TensorFlow Datasets הוא אוסף של מערכי נתונים מוכנים לשימוש עם TensorFlow. ניתן להשתמש ברבים ממערכי הנתונים (לדוגמה, MNIST , Fashion-MNIST ו- TF Flowers ) כדי לפתח ולבדוק אלגוריתמים של ראייה ממוחשבת.

איפה להתחיל

המשאבים הבאים יעזרו לך להתחיל לעבוד עם הכלים של TensorFlow ו-Keras CV.

• KerasCV : תיעוד ומשאבים עבור KerasCV.
• מדריכים למפתחים של KerasCV : מדריכים לביצוע משימות קורות חיים נפוצות באמצעות KerasCV. אם אתה חדש ב-KerasCV, סיווג עם KerasCV הוא מקום טוב להתחיל בו.

• הדרכות של TensorFlow : תיעוד הליבה של TensorFlow (מדריך זה) כולל מספר הדרכות קורות חיים ועיבוד תמונה.

  • סיווג בסיסי: סיווג תמונות של בגדים : אמנו מודל של רשת עצבית כדי לסווג תמונות של בגדים, כמו נעלי ספורט וחולצות.

  • טעינה ועיבוד מקדים של תמונות : טען ועבד מראש מערך נתונים של תמונה בשלוש דרכים:

    1. השתמש בכלי עזר לעיבוד מקדים של Keras לקריאת ספריית תמונות בדיסק.
    2. כתוב צינור קלט משלך מאפס באמצעות tf.data .
    3. הורד מערך נתונים מהקטלוג הגדול הזמין בערכות נתונים של TensorFlow .

  • טען נתוני וידאו : טען ועבד מראש נתוני וידאו של AVI באמצעות מערך הנתונים של הפעולה האנושית UCF101 .

  • רשת עצבית קונבולוציונית (CNN) : אימון רשת עצבית קונבולוציונית פשוטה (CNN) כדי לסווג תמונות CIFAR באמצעות ה- API של Keras .

  • סיווג תמונה : סיווג תמונות של פרחים באמצעות מודל tf.keras.Sequential וטען נתונים באמצעות tf.keras.utils.image_dataset_from_directory .

  • העברה למידה וכיוונון עדין : סיווג תמונות של חתולים וכלבים על ידי שימוש בלימוד העברה מרשת מאומנת מראש.

  • הגדלת נתונים : הגדל את הגיוון של מערך האימונים שלך על ידי יישום טרנספורמציות אקראיות (אך מציאותיות), כגון סיבוב תמונה.

  • פילוח תמונה : בצע פילוח תמונה, באמצעות U-Net שונה.

  • סיווג וידאו עם רשת עצבית קונבולוציונית תלת מימדית : אמן רשת עצבית קונבולוציונית תלת מימדית (CNN) לסיווג וידאו באמצעות מערך הנתונים של זיהוי הפעולה של UCF101 .

  • העבר למידה לסיווג וידאו עם MoViNet : השתמש במודל MoViNet מאומן מראש ובמערך הנתונים של UCF101 כדי לסווג סרטונים עבור משימת זיהוי פעולה.