O Dia da Comunidade de ML é dia 9 de novembro! Junte-nos para atualização de TensorFlow, JAX, e mais Saiba mais

symmetric_solids

  • Descrição:

Este é um conjunto de dados de estimativa de pose, consistindo em formas 3D simétricas onde múltiplas orientações são visualmente indistinguíveis. O desafio é prever todas as orientações equivalentes quando apenas uma orientação é emparelhada com cada imagem durante o treinamento (como é o cenário para a maioria dos conjuntos de dados de estimativa de pose). Em contraste com a maioria dos conjuntos de dados de estimativa de pose, o conjunto completo de orientações equivalentes está disponível para avaliação.

Existem oito formas no total, cada uma renderizada a partir de 50.000 pontos de vista distribuídos de maneira uniforme e aleatória por todo o espaço das rotações 3D. Cinco das formas não têm características - tetraedro, cubo, icosaedro, cone e cilindro. Destes, os três sólidos platônicos (tetraedro, cubo, icosaedro) são anotados com suas simetrias discretas de 12, 24 e 60 vezes, respectivamente. O cone e o cilindro são anotados com suas simetrias contínuas discretizadas em intervalos de 1 grau. Essas simetrias são fornecidas para avaliação; a supervisão pretendida é apenas uma única rotação com cada imagem.

As três formas restantes são marcadas com uma característica distintiva. Há um tetraedro com uma face vermelha, um cilindro com um ponto fora do centro e uma esfera com um X encimado por um ponto. Quer a característica distintiva seja ou não visível, o espaço de orientações possíveis é reduzido. Não fornecemos o conjunto de rotações equivalentes para essas formas.

Cada exemplo contém de

  • a imagem 224x224 RGB
  • um índice de forma para que o conjunto de dados possa ser filtrado por forma.
    Os índices correspondem a:

    • 0 = tetraedro
    • 1 = cubo
    • 2 = icosaedro
    • 3 = cone
    • 4 = cilindro
    • 5 = tetraedro marcado
    • 6 = cilindro marcado
    • 7 = esfera marcada
  • a rotação usada no processo de renderização, representada como uma matriz de rotação 3x3

  • o conjunto de rotações equivalentes conhecidas sob simetria, para avaliação.

No caso das três formas marcadas, esta é apenas a rotação de renderização.

Dividir Exemplos
'test' 40.000
'train' 360.000
  • Características:
FeaturesDict({
    'image': Image(shape=(224, 224, 3), dtype=tf.uint8),
    'label_shape': ClassLabel(shape=(), dtype=tf.int64, num_classes=8),
    'rotation': Tensor(shape=(3, 3), dtype=tf.float32),
    'rotations_equivalent': Tensor(shape=(None, 3, 3), dtype=tf.float32),
})

Visualização

  • citação:
@inproceedings{implicitpdf2021,
  title = {Implicit Representation of Probability Distributions on the Rotation
  Manifold},
  author = {Murphy, Kieran and Esteves, Carlos and Jampani, Varun and
  Ramalingam, Srikumar and Makadia, Ameesh}
  booktitle = {International Conference on Machine Learning}
  year = {2021}
}