• 説明

ニューラルネットワークにおける抽象的推論の測定、バレット、ヒル、サントロらの論文からの手続き型生成行列(PGM)データ。 2018.目標は、抽象的な推論に基づいてコンテキストパネルから正しい答えを推測することです。

このデータセットを使用するには、データセットページからすべての* .tar.gzファイルをダウンロードし、〜/ tensorflow_datasets / abstract_reasoning /に配置してください。

$ R $は関係タイプのセット(進行、XOR、OR、AND、一貫性のある結合)を示し、$ O $はオブジェクトタイプ(形状、線)を示し、$ A $は属性タイプ(サイズ、色、位置、番号)。行列の構造$ S $は、特定の行列によってもたらされる課題を決定するトリプル$ S = {[r、o、a]} $のセットです。

'test' 200,000
'train' 1,200,000
'validation' 20,000
  • 特長
    'answers': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'context': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'filename': Text(shape=(), dtype=tf.string),
    'meta_target': Tensor(shape=(12,), dtype=tf.int64),
    'relation_structure_encoded': Tensor(shape=(4, 12), dtype=tf.int64),
    'target': ClassLabel(shape=(), dtype=tf.int64, num_classes=8),
  title =    {Measuring abstract reasoning in neural networks},
  author =   {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
  booktitle =    {Proceedings of the 35th International Conference on Machine Learning},
  pages =    {511--520},
  year =     {2018},
  editor =   {Dy, Jennifer and Krause, Andreas},
  volume =   {80},
  series =   {Proceedings of Machine Learning Research},
  address =      {Stockholmsmassan, Stockholm Sweden},
  month =    {10--15 Jul},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
  url =      {http://proceedings.mlr.press/v80/barrett18a.html},
  abstract =     {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}

abstract_reasoning / neutral(デフォルトの設定)

  • コンフィグの説明:両方のインクルードに行列をコードする構造
    トレーニングセットとテストセットには、$ r \ in R $のトリプル$ [r、o、a] $が含まれています。
    $ o \ in O $、および$ a \ in A $。トレーニングセットとテストセットは互いに素であり、

  • tfds.as_dataframe ):

abstract_reasoning / interpolation

  • コンフィグの説明:ニュートラル分割の場合と同様に、$ S $は任意のものから構成され
    $ [r、o、a] $を3倍にします。補間の場合、トレーニングセットで、
    $ S $には、colorまたはsize属性を持つトリプル$ [r、o、a] $が含まれていました。

  • tfds.as_dataframe ):

abstract_reasoning / extrapolation

  • コンフィグの説明:補間ではと同じですが、値の

  • tfds.as_dataframe ):

abstract_reasoning / attr.rel.pairs

  • コンフィグの説明:すべての$ S $は、少なくとも2つのトリプルを含んでい
    40個の差し出されたペアの$(t_1、t_2)$は、構造$ S $で一緒に発生しませんでした
    トレーニングセットで、すべての構造$ S $には少なくとも1つのそのようなペアがありました

  • tfds.as_dataframe ):

abstract_reasoning / attr.rels

  • コンフィグの説明:私たちのデータセットでは、ユニークな29可能があります
    $ [r、o、a] $を3倍にします。これらのうち7つをテストセットにランダムに割り当てました。
    テストセットのすべての$ S $には、少なくとも1つが含まれていました。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.pairs

  • コンフィグの説明:$ S $は、少なくとも2つのトリプルを含んでいました。 20あります
    $ r_i、o_i、([r_1、o_1、a_1]、[r_2、o_2、a_2])$は実行可能なトリプルペアです
    トレーニングセットの$ S $には、$ a_1 $または$ a_2 $のトリプルが含まれていました。テストで
    セットすると、すべての$ S $には$ a_1 $と$ a_2 $のトリプルが含まれていました。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.shape.color

  • コンフィグの説明:開催アウト属性の形状色。 $ S $ in
    トレーニングセットには、$ o $ = shapeと$ a $ = colorのトリプルは含まれていませんでした。
    $ o $ =形と$ a $ =色で。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.line.type

  • コンフィグの説明:開催アウト属性のライン型。 $ S $ in
    トレーニングセットには、$ o $ = lineと$ a $ = typeのトリプルは含まれていませんでした。
    $ o $ = lineおよび$ a $ = typeを使用します。

  • tfds.as_dataframe ):