s3o4d

ชุดข้อมูลที่อธิบายไว้ในส่วน "Stanford 3D Objects" ของกระดาษ Disentangling by Subspace Diffusion ข้อมูลประกอบด้วยการเรนเดอร์ 100,000 ครั้งของวัตถุ Bunny และ Dragon จาก Stanford 3D Scanning Repository อาจมีการเพิ่มวัตถุอื่นๆ อีกในอนาคต แต่จะใช้เฉพาะกระต่ายกับมังกรเท่านั้นในกระดาษ วัตถุแต่ละชิ้นจะแสดงด้วยแสงตัวอย่างที่สม่ำเสมอจากจุดบน 2 ทรงกลม และการหมุน 3 มิติที่สุ่มตัวอย่างอย่างสม่ำเสมอ สถานะแฝงที่แท้จริงมีให้ในรูปแบบอาร์เรย์ NumPy พร้อมกับรูปภาพ การให้แสงเป็นเวกเตอร์ 3 ตัวพร้อมบรรทัดฐานหน่วย ในขณะที่การหมุนมีให้ทั้งแบบควอเทอร์เนียนและเมทริกซ์มุมฉาก 3x3

มีความคล้ายคลึงกันหลายอย่างระหว่าง S3O4D กับชุดข้อมูลเกณฑ์มาตรฐาน ML ที่มีอยู่ เช่น NORB , เก้าอี้ 3 มิติ , รูปร่าง 3 มิติ และอื่นๆ อีกมากมาย ซึ่งรวมถึงการแสดงชุดของวัตถุภายใต้ท่าทางและสภาพแสงที่แตกต่างกัน อย่างไรก็ตาม ชุดข้อมูลที่มีอยู่เหล่านี้ไม่มีชุดการหมุนทั้งหมดในรูปแบบ 3 มิติ ส่วนใหญ่มีเพียงชุดย่อยของการเปลี่ยนแปลงระดับความสูงและแนวราบ ภาพ S3O4D ได้รับการสุ่มตัวอย่างอย่างสม่ำเสมอและเป็นอิสระจากพื้นที่ทั้งหมดของการหมุนและการส่องสว่าง หมายความว่าชุดข้อมูลประกอบด้วยวัตถุที่กลับหัวและส่องสว่างจากด้านหลังหรือด้านล่าง เราเชื่อว่าสิ่งนี้ทำให้ S3O4D เหมาะอย่างยิ่งสำหรับการวิจัยเกี่ยวกับแบบจำลองเชิงกำเนิดที่พื้นที่แฝงมีโทโพโลยีที่ไม่สำคัญ เช่นเดียวกับวิธีการเรียนรู้ที่หลากหลายทั่วไปที่ความโค้งของท่อร่วมมีความสำคัญ

แยก ตัวอย่าง
'bunny_test' 20,000
'bunny_train' 80,000
'dragon_test' 20,000
'dragon_train' 80,000
  • โครงสร้างคุณลักษณะ :
FeaturesDict({
    'illumination': Tensor(shape=(3,), dtype=float32),
    'image': Image(shape=(256, 256, 3), dtype=uint8),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'pose_mat': Tensor(shape=(3, 3), dtype=float32),
    'pose_quat': Tensor(shape=(4,), dtype=float32),
})
  • เอกสารคุณสมบัติ :
ลักษณะเฉพาะ ระดับ รูปร่าง Dประเภท คำอธิบาย
คุณสมบัติDict
แสงสว่าง เทนเซอร์ (3,) ลอย32
ภาพ ภาพ (256, 256, 3) uint8
ฉลาก ป้ายกำกับคลาส int64
pose_mat เทนเซอร์ (3, 3) ลอย32
ท่า_quat เทนเซอร์ (4,) ลอย32

การสร้างภาพ

  • การอ้างอิง :
@article{pfau2020disentangling,
  title={Disentangling by Subspace Diffusion},
  author={Pfau, David and Higgins, Irina and Botev, Aleksandar and Racani\`ere,
  S{\'e}bastian},
  journal={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2020}
}