לשמור את התאריך! קלט / פלט של Google חוזר 18-20 במאי הירשם עכשיו
דף זה תורגם על ידי Cloud Translation API.
Switch to English

סקירה כללית

בשנים האחרונות נרשמה עלייה בשכבות גרפיות מובחנות חדשות הניתנות להכנסה בארכיטקטורות רשת עצביות. משנאים מרחביים ועד מעבדי גרפיקה מובחנים, שכבות חדשות אלה ממנפות את הידע שנרכש לאורך שנים של ראיית מחשב ומחקר גרפי לבניית ארכיטקטורות רשת חדשות ויעילות יותר. דוגמנות מפורשת של תקדימים גיאומטריים ואילוצים לרשתות עצביות פותחת פתח לאדריכלות שניתן להכשיר בצורה אפקטיבית, יעילה וחשוב מכך, בפיקוח עצמי.

ברמה גבוהה, צינור גרפיקה ממוחשב דורש ייצוג של אובייקטים תלת מימדיים ואת מיקומם המוחלט בסצנה, תיאור החומר ממנו הם עשויים, אורות ומצלמה. תיאור סצנה זה מתפרש לאחר מכן על ידי מעבד כדי ליצור עיבוד סינתטי.

לשם השוואה, מערכת ראיית מחשב הייתה מתחילה מתמונה ומנסה להסיק את הפרמטרים של הסצנה. זה מאפשר לחזות אילו אובייקטים נמצאים בסצנה, מאילו חומרים הם עשויים, ואת המיקום והתמצית התלת מימדיים.

הכשרה של מערכות למידת מכונות המסוגלות לפתור את המשימות המורכבות הללו של ראיית תלת ממד דורשות לרוב כמויות גדולות של נתונים. מכיוון שנתוני תיוג הם תהליך יקר ומורכב, חשוב שיהיו מנגנונים לתכנון מודלים של למידת מכונה שיכולים להבין את העולם התלת מימדי תוך כדי הכשרה ללא פיקוח רב. שילוב של ראיית מחשב וטכניקות גרפיקה ממוחשבת מספק הזדמנות ייחודית למנף את הכמויות העצומות של נתונים ללא תיוג זמינים. כפי שמודגם בתמונה למטה, ניתן להשיג זאת, למשל, באמצעות ניתוח באמצעות סינתזה, כאשר מערכת הראייה מחלצת את פרמטרי הסצנה ומערכת הגרפיקה מחזירה תמונה על בסיסם. אם העיבוד תואם את התמונה המקורית, מערכת הראייה חילצה במדויק את פרמטרי הסצנה. במערך זה, ראיית מחשב וגרפיקה ממוחשבת הולכים יד ביד, ויוצרים מערכת למידת מכונה אחת הדומה לקודן אוטומטי, שניתן לאמן באופן בפיקוח עצמי.

Tensorflow Graphics מפותחת על מנת לסייע בהתמודדות עם סוגים אלה של אתגרים וכדי לעשות זאת, היא מספקת מערך של שכבות גרפיקה וגיאומטריה מובחנות (למשל מצלמות, מודלים של השתקפות, טרנספורמציות מרחביות, פיתולי רשת) ופונקציונליות של צופה תלת-ממדי (למשל 3D TensorBoard) ש- ניתן להשתמש בהם כדי לאמן ולפתור באגים על מודלים של למידת מכונה לפי בחירתך.