סקירה כללית

בשנים האחרונות נרשמה עלייה בשכבות גרפיות חדשות שניתן להבחין בהן ניתן להכניס בארכיטקטורות של רשתות עצביות. משנאים מרחביים ועד למעבדים גרפיים ניתנים להבדלה, השכבות החדשות הללו ממנפות את הידע שנרכש לאורך שנים של ראייה ממוחשבת ומחקר גרפי לבניית ארכיטקטורות רשת חדשות ויעילות יותר. מודלים מפורשים של קודמים ואילוצים גיאומטריים לרשתות עצביות פותח את הדלת לארכיטקטורות שניתן לאמן בצורה חזקה, יעילה וחשוב יותר, בפיקוח עצמי.

ברמה גבוהה, צנרת גרפיקה ממוחשבת דורשת ייצוג של אובייקטים תלת מימדיים ומיקומם המוחלט בסצנה, תיאור החומר ממנו הם עשויים, אורות ומצלמה. תיאור הסצנה הזה מתפרש על ידי מעבד כדי ליצור עיבוד סינתטי.

לשם השוואה, מערכת ראייה ממוחשבת תתחיל מתמונה ומנסה להסיק מהם הפרמטרים של הסצנה. זה מאפשר לחזות אילו אובייקטים נמצאים בסצנה, מאילו חומרים הם עשויים, ואת המיקום והכיוון התלת מימדי.

אימון מערכות למידת מכונה המסוגלות לפתור משימות ראייה תלת-ממדיות מורכבות אלו דורשות לרוב כמויות גדולות של נתונים. מכיוון שתיוג נתונים הוא תהליך יקר ומורכב, חשוב שיהיו מנגנונים לתכנון מודלים של למידת מכונה שיוכלו להבין את העולם התלת מימדי תוך הכשרה ללא הרבה פיקוח. שילוב של ראייה ממוחשבת וטכניקות גרפיקה ממוחשבת מספק הזדמנות ייחודית למנף את הכמויות העצומות של נתונים זמינים ללא תווית. כפי שמוצג בתמונה למטה, ניתן להשיג זאת, למשל, באמצעות ניתוח על ידי סינתזה, כאשר מערכת הראייה מחלצת את פרמטרי הסצנה והמערכת הגרפית מחזירה תמונה המבוססת עליהם. אם העיבוד תואם לתמונה המקורית, מערכת הראייה שלפה במדויק את פרמטרי הסצנה. בהגדרה זו, ראייה ממוחשבת וגרפיקה ממוחשבת הולכות יד ביד, ויוצרות מערכת למידת מכונה אחת הדומה למקודד אוטומטי, שניתן לאמן אותה בפיקוח עצמי.

Tensorflow Graphics מפותחת כדי לסייע בהתמודדות עם סוגים אלה של אתגרים, וכדי לעשות זאת, היא מספקת קבוצה של שכבות גרפיקה וגיאומטריה הניתנות להבדלה (למשל מצלמות, מודלים של החזר, טרנספורמציות מרחביות, פיתולי רשת) ופונקציונליות של צופה תלת-ממד (למשל 3D TensorBoard) יכול לשמש לאימון וניפוי באגים במודלים של למידת מכונה שלך.