s3o4d

İlk olarak tarif edilen veri kümesi kağıt bölümü "Stanford 3D Nesneleri" Alt Uzay Difüzyon ile çözülmesinden . Veri 100,000 kaplamalar Tavşan ve ejderha nesnelerinin her biri oluşur Stanford 3D Tarama Repository . Gelecekte daha fazla nesne eklenebilir, ancak kağıtta yalnızca Bunny ve Dragon kullanılır. Her nesne, 2 küre üzerindeki bir noktadan eşit olarak örneklenmiş bir aydınlatma ve eşit olarak örneklenmiş bir 3B döndürme ile işlenir. Gerçek gizli durumlar, görüntülerle birlikte NumPy dizileri olarak sağlanır. Aydınlatma, birim normlu 3 vektör olarak verilirken, döndürme hem kuaterniyon hem de 3x3 dik matris olarak sağlanmıştır.

S3O4D ve benzeri mevcut ML kriter veri setleri arasında birçok benzerlik vardır Norb , 3D Sandalyeler , 3D Şekiller'in aynı zamanda farklı poz ve aydınlatma koşulları altında nesnelerin bir dizi render dahil ve diğerleri. Ancak, bu mevcut veri setleri hiçbiri 3D rotasyonlar dolu manifoldu şunlardır - en yükseklik ve azimut değişiklikler yalnızca bir alt kümesini içerir. S3O4D görüntüleri, tam dönüş ve aydınlatma alanından bağımsız ve tek biçimli olarak örneklenir; bu, veri kümesinin baş aşağı olan ve arkadan veya alttan aydınlatılan nesneler içerdiği anlamına gelir. Bunun, S3O4D'yi, gizli uzayın önemsiz topolojiye sahip olduğu üretken modeller üzerindeki araştırmalar ve ayrıca manifold eğriliğinin önemli olduğu genel manifold öğrenme yöntemleri için benzersiz şekilde uygun hale getirdiğine inanıyoruz.

Bölmek Örnekler
'bunny_test' 20.000
'bunny_train' 80.000
'dragon_test' 20.000
'dragon_train' 80.000
  • Özellikler:
FeaturesDict({
    'illumination': Tensor(shape=(3,), dtype=tf.float32),
    'image': Image(shape=(256, 256, 3), dtype=tf.uint8),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'pose_mat': Tensor(shape=(3, 3), dtype=tf.float32),
    'pose_quat': Tensor(shape=(4,), dtype=tf.float32),
})

görselleştirme

  • Citation:
@article{pfau2020disentangling,
  title={Disentangling by Subspace Diffusion},
  author={Pfau, David and Higgins, Irina and Botev, Aleksandar and Racani\`ere,
  S{\'e}bastian},
  journal={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2020}
}