raisonnement abstrait

  • Description:

Les données de matrices générées procéduralement (PGM) de l'article Mesurer le raisonnement abstrait dans les réseaux de neurones, Barrett, Hill, Santoro et al. 2018. L'objectif est d'inférer la bonne réponse à partir des panneaux contextuels sur la base d'un raisonnement abstrait.

Pour utiliser cet ensemble de données, veuillez télécharger tous les fichiers *.tar.gz à partir de la page de l'ensemble de données et les placer dans ~/tensorflow_datasets/abstract_reasoning/.

$R$ désigne l'ensemble des types de relations (progression, XOR, OR, AND, union cohérente), $O$ désigne les types d'objets (forme, ligne) et $A$ désigne les types d'attributs (taille, couleur, position, numéro). La structure d'une matrice, $S$, est l'ensemble des triplets $S={[r, o, a]}$ qui déterminent le défi posé par une matrice particulière.

Diviser Exemples
'test' 200 000
'train' 1 200 000
'validation' 20 000
  • Caractéristiques:
FeaturesDict({
    'answers': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'context': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'filename': Text(shape=(), dtype=tf.string),
    'meta_target': Tensor(shape=(12,), dtype=tf.int64),
    'relation_structure_encoded': Tensor(shape=(4, 12), dtype=tf.int64),
    'target': ClassLabel(shape=(), dtype=tf.int64, num_classes=8),
})
@InProceedings{pmlr-v80-barrett18a,
  title =    {Measuring abstract reasoning in neural networks},
  author =   {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
  booktitle =    {Proceedings of the 35th International Conference on Machine Learning},
  pages =    {511--520},
  year =     {2018},
  editor =   {Dy, Jennifer and Krause, Andreas},
  volume =   {80},
  series =   {Proceedings of Machine Learning Research},
  address =      {Stockholmsmassan, Stockholm Sweden},
  month =    {10--15 Jul},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
  url =      {http://proceedings.mlr.press/v80/barrett18a.html},
  abstract =     {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}

abstract_reasoning/neutral (configuration par défaut)

  • Description Config: Les structures codant pour les matrices dans les deux
    les ensembles d'apprentissage et de test contiennent des triplets $[r, o, a]$ pour $r \in R$,
    $o \in O$, et $a \in A$. Les ensembles d'entraînement et de test sont disjoints, avec
    séparation se produisant au niveau des variables d'entrée (ie pixel
    manifestations).

  • Exemples ( tfds.as_dataframe ):

résumé_raisonnement/interpolation

  • Description Config: Comme dans la division neutre, $ S $ consistait en tout
    triple $[r, o, a]$. Pour l'interpolation, dans l'ensemble d'apprentissage, lorsque le
    l'attribut était « couleur » ou « taille » (c'est-à-dire les attributs ordonnés), les valeurs de
    les attributs étaient restreints aux membres à index pair d'un ensemble discret,
    alors que dans l'ensemble de test, seules les valeurs à index impair étaient autorisées. Notez que tout
    $S$ contenait un triple $[r, o, a]$ avec l'attribut color ou size .
    Ainsi, la généralisation est requise pour chaque question de l'ensemble de test.

  • Exemples ( tfds.as_dataframe ):

résumé_raisonnement/extrapolation

  • Description Config: Identique à l'interpolation, mais les valeurs de
    les attributs ont été restreints à la moitié inférieure de l'ensemble discret pendant
    formation, alors que dans l'ensemble de test, ils ont pris des valeurs dans la moitié supérieure.

  • Exemples ( tfds.as_dataframe ):

abstract_reasoning/attr.rel.pairs

  • Description Config: Tous $ S $ contenait au moins deux chambres triples,
    $([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)$, dont 400 sont viables. Nous
    attribué au hasard 360 à l'ensemble d'apprentissage et 40 à l'ensemble de test. Membres
    $(t_1, t_2)$ des 40 paires retenues ne se sont pas produites ensemble dans les structures $S$
    dans l'ensemble d'apprentissage, et toutes les structures $S$ avaient au moins une telle paire
    $(t_1, t_2)$ en tant que sous-ensemble.

  • Exemples ( tfds.as_dataframe ):

résumé_raisonnement/attr.rels

  • Description Config: Dans notre jeu de données, il y a 29 unique possible
    triple $[r,o,a]$. Nous en avons alloué sept pour l'ensemble de test, au hasard,
    mais tel que chacun des attributs était représenté exactement une fois dans cet ensemble.
    Ces triplets retenus ne se sont jamais produits dans les questions de l'ensemble de formation, et
    chaque $S$ de l'ensemble de test en contenait au moins un.

  • Exemples ( tfds.as_dataframe ):

résumé_raisonnement/attrs.pairs

  • Description Config: $ S $ contenait au moins deux chambres triples. Il y a 20
    paires viables (non ordonnées) d'attributs $(a_1, a_2)$ telles que pour certains
    $r_i, o_i, ([r_1,o_1,a_1],[r_2,o_2,a_2])$ est une triple paire viable
    $([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)$. Nous avons alloué 16 de ces paires
    pour la formation et quatre pour les tests. Pour une paire $(a_1, a_2)$ dans l'ensemble de test,
    $S$ dans l'ensemble d'apprentissage contenait des triplets avec $a_1$ ou $a_2$. Dans l'épreuve
    ensemble, tous les $S$ contenaient des triplets avec $a_1$ et $a_2$.

  • Exemples ( tfds.as_dataframe ):

abstract_reasoning/attrs.shape.color

  • Description Config: forme-couleur attribut Held-out. $S$ dans
    l'ensemble d'apprentissage ne contenait pas de triplets avec $o$=forme et $a$=couleur.
    Toutes les structures régissant les énigmes dans l'ensemble de test contenaient au moins un triple
    avec $o$=forme et $a$=couleur.

  • Exemples ( tfds.as_dataframe ):

abstract_reasoning/attrs.line.type

  • Description Config: ligne type d'attribut Held-out. $S$ dans
    l'ensemble d'apprentissage ne contenait pas de triplets avec $o$=line et $a$=type.
    Toutes les structures régissant les énigmes dans l'ensemble de test contenaient au moins un triple
    avec $o$=line et $a$=type.

  • Exemples ( tfds.as_dataframe ):