דף זה תורגם על ידי Cloud Translation API.
Switch to English

סקירה כללית

בשנים האחרונות חלה עלייה בשכבות גרפיות שונות המובחנות וניתן להכניס אותם לארכיטקטורות רשת עצביות. משנאים מרחביים למעבירי גרפיקה שונים, שכבות חדשות אלה ממנפות את הידע שנרכש לאורך שנים של ראיית מחשב ומחקר גרפי לבניית ארכיטקטורות רשת חדשות ויעילות יותר. דוגמנות מפורשות של קודמים ואילוצים גיאומטריים לרשתות עצביות פותחת את הדלת לארכיטקטורות שניתן לאמן בצורה איתנה, יעילה, וחשוב יותר, באופן מבוקר.

ברמה גבוהה, צינור גרפיקה ממוחשבת מצריך ייצוג של אובייקטים תלת-ממדיים ומיקומם המוחלט בסצינה, תיאור החומר ממנו הם עשויים, אורות ומצלמה. תיאור הסצנה הזה מתפרש אז על ידי המבהיר ליצירת טיוח סינטטי.

לשם השוואה, מערכת ראיית מחשב הייתה מתחילה מתמונה ומנסה להסיק את הפרמטרים של הסצנה. זה מאפשר ניבוי מהם האובייקטים בסצנה, מאילו חומרים הם עשויים, ואת המיקום התלת מימדי וההתמצאות.

הכשרת מערכות למידת מכונות המסוגלות לפתור משימות ראיית תלת מימד מורכבות אלו לרוב דורשות כמויות גדולות של נתונים. מכיוון שנתוני תיוג הם תהליך יקר ומורכב, חשוב שיהיו מנגנונים לעיצוב מודלים של למידת מכונות שיכולים להבין את העולם התלת מימדי תוך הכשרה ללא השגחה רבה. שילוב ראייה ממוחשבת וטכניקות גרפיקה ממוחשבות מספק הזדמנות ייחודית למנף את הכמויות העצומות של נתונים שאינם מסומנים בקלות. כפי שמודגם בתמונה למטה, ניתן להשיג זאת, למשל, באמצעות ניתוח על ידי סינתזה, שם מערכת הראייה מחלצת את פרמטרי הסצנה ומערכת הגרפיקה מחזירה תמונה המבוססת עליהם. אם העיבוד תואם את התמונה המקורית, מערכת הראייה חילצה במדויק את פרמטרי הסצינה. במערך זה ראיית מחשב וגרפיקה ממוחשבת הולכים יד ביד ויוצרים מערכת למידה יחידה במכונה הדומה למקודד אוטומטי, הניתנת לאימון באופן פיקוח עצמי.

גרפיקה של Tensorflow מפותחת כדי לסייע בהתמודדות עם אתגרים מסוג זה וכדי לעשות זאת, היא מספקת מערך של שכבות גרפיקה וגיאומטריה שונות (למשל מצלמות, מודלים של השתקפות, טרנספורמציות מרחביות, התפתלויות רשת) ופונקציות תצוגה תלת מימדית (למשל TensorBoard 3D) ניתן להשתמש בהם כדי לאמן ולבחור באגים במודלים שלך למידת למידה לפי בחירה.