หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

ภาพรวม

ไม่กี่ปีที่ผ่านมามีการเพิ่มขึ้นของเลเยอร์กราฟิกที่สร้างความแตกต่างซึ่งสามารถแทรกเข้าไปในสถาปัตยกรรมเครือข่ายประสาท เลเยอร์ใหม่เหล่านี้ใช้ประโยชน์จากความรู้ที่ได้รับในช่วงหลายปีของการมองเห็นคอมพิวเตอร์และการวิจัยกราฟิกเพื่อสร้างสถาปัตยกรรมเครือข่ายใหม่และมีประสิทธิภาพมากขึ้น การสร้างแบบจำลองนักบวชและข้อ จำกัด ทางเรขาคณิตอย่างชัดเจนในเครือข่ายประสาทเปิดประตูสู่สถาปัตยกรรมที่สามารถฝึกฝนได้อย่างแข็งแกร่งมีประสิทธิภาพและที่สำคัญยิ่งกว่าในการดูแลตนเอง

ในระดับสูงไปป์ไลน์กราฟิกคอมพิวเตอร์ต้องใช้การแสดงวัตถุ 3 มิติและการจัดตำแหน่งที่แน่นอนในฉากคำอธิบายของวัสดุที่ทำจากไฟและกล้อง คำอธิบายฉากนี้จะถูกตีความโดย renderer เพื่อสร้างการเรนเดอร์แบบสังเคราะห์

ในการเปรียบเทียบระบบการมองเห็นของคอมพิวเตอร์จะเริ่มจากภาพและพยายามหาค่าพารามิเตอร์ของฉาก สิ่งนี้ช่วยให้การคาดการณ์ของวัตถุที่อยู่ในฉากสิ่งที่พวกเขาทำวัสดุและตำแหน่งสามมิติและการวางแนว

ระบบการเรียนรู้ของเครื่องฝึกอบรมที่มีความสามารถในการแก้ปัญหาการมองเห็น 3 มิติที่ซับซ้อนเหล่านี้ส่วนใหญ่มักต้องการข้อมูลจำนวนมาก เนื่องจากข้อมูลการติดฉลากเป็นกระบวนการที่มีค่าใช้จ่ายสูงและซับซ้อนจึงเป็นเรื่องสำคัญที่จะต้องมีกลไกในการออกแบบรูปแบบการเรียนรู้ของเครื่องที่สามารถเข้าใจโลกทั้งสามมิติในขณะที่ได้รับการฝึกอบรมโดยไม่มีการดูแลมาก การผสานการมองเห็นของคอมพิวเตอร์และเทคนิคกราฟิกคอมพิวเตอร์เป็นโอกาสพิเศษที่จะใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับที่มีอยู่มากมาย ดังที่แสดงในภาพด้านล่างนี้สามารถทำได้โดยใช้การวิเคราะห์โดยการสังเคราะห์ที่ระบบการมองเห็นแยกพารามิเตอร์ฉากและระบบกราฟิกแสดงภาพกลับขึ้นอยู่กับพวกเขา หากการเรนเดอร์ตรงกับภาพต้นฉบับระบบการมองเห็นจะทำการแยกพารามิเตอร์ฉากอย่างแม่นยำ ในการตั้งค่านี้การมองเห็นของคอมพิวเตอร์และคอมพิวเตอร์กราฟฟิคนั้นเป็นไปในรูปแบบเดียวกันทำให้เกิดระบบการเรียนรู้ด้วยเครื่องเดียวซึ่งคล้ายกับระบบสร้างภาพอัตโนมัติซึ่งสามารถฝึกอบรมได้ด้วยตนเอง

Tensorflow Graphics ได้รับการพัฒนาขึ้นเพื่อช่วยจัดการกับความท้าทายเหล่านี้และให้ชุดของกราฟิกและชั้นเรขาคณิตที่แตกต่างกัน (เช่นกล้อง, แบบจำลองการสะท้อน, การแปลงเชิงพื้นที่, การแปลงตาข่าย) และฟังก์ชันมุมมอง 3 มิติ (เช่น 3D TensorBoard) สามารถใช้ในการฝึกอบรมและดีบักโมเดลการเรียนรู้ของเครื่องที่คุณเลือก