มีคำถาม? เชื่อมต่อกับชุมชนที่ฟอรัม TensorFlow เยี่ยมชมฟอรัม

ภาพรวม

ไม่กี่ปีที่ผ่านมามีการเพิ่มขึ้นของเลเยอร์กราฟิกที่แตกต่างกันใหม่ซึ่งสามารถแทรกในสถาปัตยกรรมเครือข่ายประสาทเทียม ตั้งแต่หม้อแปลงเชิงพื้นที่ไปจนถึงตัวแสดงผลกราฟิกที่แตกต่างกันเลเยอร์ใหม่เหล่านี้ใช้ประโยชน์จากความรู้ที่ได้รับในช่วงหลายปีของการวิจัยวิสัยทัศน์คอมพิวเตอร์และกราฟิกเพื่อสร้างสถาปัตยกรรมเครือข่ายใหม่และมีประสิทธิภาพมากขึ้น การสร้างแบบจำลองโครงสร้างทางเรขาคณิตอย่างชัดเจนและข้อ จำกัด ในโครงข่ายประสาทเทียมจะเปิดประตูไปสู่สถาปัตยกรรมที่สามารถฝึกฝนได้อย่างแข็งแกร่งมีประสิทธิภาพและที่สำคัญกว่านั้นคือในรูปแบบที่ดูแลตนเอง

ในระดับสูงไปป์ไลน์คอมพิวเตอร์กราฟิกต้องการการนำเสนอวัตถุ 3 มิติและการวางตำแหน่งที่แน่นอนในฉากคำอธิบายของวัสดุที่ทำจากแสงและกล้องถ่ายรูป จากนั้นคำอธิบายฉากนี้จะถูกตีความโดยตัวแสดงผลเพื่อสร้างการเรนเดอร์สังเคราะห์

ในการเปรียบเทียบระบบการมองเห็นด้วยคอมพิวเตอร์จะเริ่มต้นจากภาพและพยายามอนุมานพารามิเตอร์ของฉาก สิ่งนี้ช่วยให้สามารถคาดเดาได้ว่าวัตถุใดอยู่ในฉากวัสดุชนิดใดที่ทำจากวัสดุและตำแหน่งสามมิติและการวางแนว

การฝึกอบรมระบบแมชชีนเลิร์นนิงที่สามารถแก้งานการมองเห็น 3 มิติที่ซับซ้อนเหล่านี้ส่วนใหญ่มักต้องการข้อมูลจำนวนมาก เนื่องจากข้อมูลการติดฉลากเป็นกระบวนการที่มีค่าใช้จ่ายสูงและซับซ้อนจึงจำเป็นต้องมีกลไกในการออกแบบโมเดลการเรียนรู้ของเครื่องที่สามารถเข้าใจโลกสามมิติได้ในขณะที่ได้รับการฝึกฝนโดยไม่ต้องมีการควบคุมดูแลมากนัก การรวมเทคนิคการมองเห็นด้วยคอมพิวเตอร์และคอมพิวเตอร์กราฟิกทำให้มีโอกาสพิเศษในการใช้ประโยชน์จากข้อมูลที่ไม่มีฉลากพร้อมใช้งานจำนวนมหาศาล ดังที่แสดงไว้ในภาพด้านล่างตัวอย่างเช่นสามารถทำได้โดยใช้การวิเคราะห์โดยการสังเคราะห์โดยที่ระบบการมองเห็นดึงพารามิเตอร์ของฉากออกมาและระบบกราฟิกจะแสดงภาพกลับโดยอิงจากค่าเหล่านั้น หากการเรนเดอร์ตรงกับภาพต้นฉบับระบบการมองเห็นจะดึงพารามิเตอร์ของฉากออกมาอย่างถูกต้อง ในการตั้งค่านี้การมองเห็นของคอมพิวเตอร์และคอมพิวเตอร์กราฟิกจะทำงานร่วมกันทำให้เกิดระบบการเรียนรู้ของเครื่องเดียวคล้ายกับตัวเข้ารหัสอัตโนมัติซึ่งสามารถฝึกอบรมในลักษณะที่ดูแลตนเองได้

Tensorflow Graphics กำลังได้รับการพัฒนาเพื่อช่วยจัดการกับความท้าทายประเภทนี้และในการทำเช่นนั้นมันมีชุดของกราฟิกและเลเยอร์รูปทรงเรขาคณิตที่แตกต่างกัน (เช่นกล้อง, แบบจำลองการสะท้อนแสง, การแปลงเชิงพื้นที่, การชักแบบตาข่าย) และฟังก์ชันการดูภาพ 3 มิติ (เช่น 3D TensorBoard) สามารถใช้ในการฝึกอบรมและแก้ไขข้อบกพร่องของโมเดลแมชชีนเลิร์นนิงที่คุณเลือกได้