O Dia da Comunidade de ML é dia 9 de novembro! Junte-nos para atualização de TensorFlow, JAX, e mais Saiba mais

abstract_reasoning

  • Descrição:

Dados de Matrizes Geradas por Procedimentos (PGM) do artigo Measuring Abstract Reasoning in Neural Networks, Barrett, Hill, Santoro et al. 2018. O objetivo é inferir a resposta correta dos painéis de contexto com base no raciocínio abstrato.

Para usar este conjunto de dados, baixe todos os arquivos * .tar.gz da página do conjunto de dados e coloque-os em ~ / tensorflow_datasets / abstract_reasoning /.

$ R $ denota o conjunto de tipos de relação (progressão, XOR, OR, AND, união consistente), $ O $ denota os tipos de objeto (forma, linha) e $ A $ denota os tipos de atributo (tamanho, cor, posição, número). A estrutura de uma matriz, $ S $, é o conjunto de triplos $ S = {[r, o, a]} $ que determinam o desafio apresentado por uma matriz particular.

Dividir Exemplos
'test' 200.000
'train' 1.200.000
'validation' 20.000
  • Características:
FeaturesDict({
    'answers': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'context': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'filename': Text(shape=(), dtype=tf.string),
    'meta_target': Tensor(shape=(12,), dtype=tf.int64),
    'relation_structure_encoded': Tensor(shape=(4, 12), dtype=tf.int64),
    'target': ClassLabel(shape=(), dtype=tf.int64, num_classes=8),
})
@InProceedings{pmlr-v80-barrett18a,
  title =    {Measuring abstract reasoning in neural networks},
  author =   {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
  booktitle =    {Proceedings of the 35th International Conference on Machine Learning},
  pages =    {511--520},
  year =     {2018},
  editor =   {Dy, Jennifer and Krause, Andreas},
  volume =   {80},
  series =   {Proceedings of Machine Learning Research},
  address =      {Stockholmsmassan, Stockholm Sweden},
  month =    {10--15 Jul},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
  url =      {http://proceedings.mlr.press/v80/barrett18a.html},
  abstract =     {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}

abstract_reasoning / neutral (configuração padrão)

  • Descrição Config: As estruturas que codificam as matrizes em ambos o
    conjuntos de treinamento e teste contêm quaisquer triplos $ [r, o, a] $ para $ r \ em R $,
    $ o \ em O $ e $ a \ em A $. Os conjuntos de treinamento e teste são separados, com
    separação ocorrendo no nível das variáveis ​​de entrada (ou seja, pixel
    manifestações).

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / interpolation

  • Configuração Descrição: Como na divisão neutro, $ S $ consistiu de qualquer
    triplica $ [r, o, a] $. Para interpolação, no conjunto de treinamento, quando o
    atributo era "cor" ou "tamanho" (ou seja, os atributos ordenados), os valores de
    os atributos eram restritos a membros indexados uniformes de um conjunto discreto,
    ao passo que no conjunto de teste apenas os valores com índices ímpares eram permitidos. Observe que todos
    $ S $ continha algum $ [r, o, a] $ triplo com o atributo de cor ou tamanho.
    Portanto, a generalização é necessária para todas as perguntas do conjunto de teste.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / extrapolation

  • Descrição de configuração: O mesmo que na interpolação, mas os valores de
    os atributos foram restritos à metade inferior do conjunto discreto durante
    treinamento, enquanto no conjunto de teste eles pegaram valores na metade superior.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / attr.rel.pairs

  • Configuração Descrição: All $ S $ continham pelo menos dois triplos,
    $ ([r_1, o_1, a_1], [r_2, o_2, a_2]) = (t_1, t_2) $, dos quais 400 são viáveis. Nós
    alocados aleatoriamente 360 ​​para o conjunto de treinamento e 40 para o conjunto de teste. Membros
    $ (t_1, t_2) $ dos 40 pares mantidos para fora não ocorreram juntos nas estruturas $ S $
    no conjunto de treinamento, e todas as estruturas $ S $ tinham pelo menos um par
    $ (t_1, t_2) $ como um subconjunto.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / attr.rels

  • A inscrição Config: Em nosso conjunto de dados, existem 29 possíveis única
    triplica $ [r, o, a] $. Alocamos sete deles para o conjunto de teste, aleatoriamente,
    mas de tal forma que cada um dos atributos foi representado exatamente uma vez neste conjunto.
    Esses triplos resistidos nunca ocorreram em questões no conjunto de treinamento, e
    cada $ S $ no conjunto de teste continha pelo menos um deles.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / attrs.pairs

  • Configuração Descrição: $ S $ continham pelo menos dois triplos. São 20
    pares viáveis ​​(não ordenados) de atributos $ (a_1, a_2) $ de tal forma que para alguns
    $ r_i, o_i, ([r_1, o_1, a_1], [r_2, o_2, a_2]) $ é um par triplo viável
    $ ([r_1, o_1, a_1], [r_2, o_2, a_2]) = (t_1, t_2) $. Alocamos 16 desses pares
    para treinamento e quatro para teste. Para um par $ (a_1, a_2) $ no conjunto de teste,
    $ S $ no conjunto de treinamento continha triplos com $ a_1 $ ou $ a_2 $. No teste
    definido, todos os $ S $ continham triplos com $ a_1 $ e $ a_2 $.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / attrs.shape.color

  • Descrição de configuração: atributo forma cor-Held-out. $ S $ em
    o conjunto de treinamento não continha triplos com $ o $ = forma e $ a $ = cor.
    Todas as estruturas que regem os quebra-cabeças no conjunto de teste continham pelo menos um triplo
    com $ o $ = forma e $ a $ = cor.

  • Exemplos ( tfds.as_dataframe ):

abstract_reasoning / attrs.line.type

  • Descrição de configuração: atributo linha do tipo Realizada-out. $ S $ em
    o conjunto de treinamento não continha triplos com $ o $ = linha e $ a $ = tipo.
    Todas as estruturas que regem os quebra-cabeças no conjunto de teste continham pelo menos um triplo
    com $ o $ = linha e $ a $ = tipo.

  • Exemplos ( tfds.as_dataframe ):