abstract_reasoning

  • 説明

ニューラルネットワークにおける抽象的推論の測定、バレット、ヒル、サントロらの論文からの手続き型生成行列(PGM)データ。 2018.目標は、抽象的な推論に基づいてコンテキストパネルから正しい答えを推測することです。

このデータセットを使用するには、データセットページからすべての* .tar.gzファイルをダウンロードし、〜/ tensorflow_datasets / abstract_reasoning /に配置してください。

$ R $は関係タイプのセット(進行、XOR、OR、AND、一貫性のある結合)を示し、$ O $はオブジェクトタイプ(形状、線)を示し、$ A $は属性タイプ(サイズ、色、位置、番号)。行列の構造$ S $は、特定の行列によってもたらされる課題を決定するトリプル$ S = {[r、o、a]} $のセットです。

スプリット
'test' 200,000
'train' 1,200,000
'validation' 20,000
  • 特長
FeaturesDict({
    'answers': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'context': Video(Image(shape=(160, 160, 1), dtype=tf.uint8)),
    'filename': Text(shape=(), dtype=tf.string),
    'meta_target': Tensor(shape=(12,), dtype=tf.int64),
    'relation_structure_encoded': Tensor(shape=(4, 12), dtype=tf.int64),
    'target': ClassLabel(shape=(), dtype=tf.int64, num_classes=8),
})
@InProceedings{pmlr-v80-barrett18a,
  title =    {Measuring abstract reasoning in neural networks},
  author =   {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
  booktitle =    {Proceedings of the 35th International Conference on Machine Learning},
  pages =    {511--520},
  year =     {2018},
  editor =   {Dy, Jennifer and Krause, Andreas},
  volume =   {80},
  series =   {Proceedings of Machine Learning Research},
  address =      {Stockholmsmassan, Stockholm Sweden},
  month =    {10--15 Jul},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
  url =      {http://proceedings.mlr.press/v80/barrett18a.html},
  abstract =     {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}

abstract_reasoning / neutral(デフォルトの設定)

  • コンフィグの説明:両方のインクルードに行列をコードする構造
    トレーニングセットとテストセットには、$ r \ in R $のトリプル$ [r、o、a] $が含まれています。
    $ o \ in O $、および$ a \ in A $。トレーニングセットとテストセットは互いに素であり、
    入力変数(つまりピクセル)のレベルで発生する分離
    症状)。

  • tfds.as_dataframe ):

abstract_reasoning / interpolation

  • コンフィグの説明:ニュートラル分割の場合と同様に、$ S $は任意のものから構成され
    $ [r、o、a] $を3倍にします。補間の場合、トレーニングセットで、
    属性は「色」または「サイズ」(つまり、順序付けられた属性)であり、
    属性は、離散セットの偶数インデックスのメンバーに制限されていました。
    一方、テストセットでは、奇数インデックス値のみが許可されていました。すべてに注意してください
    $ S $には、colorまたはsize属性を持つトリプル$ [r、o、a] $が含まれていました。
    したがって、テストセット内のすべての質問に一般化が必要です。

  • tfds.as_dataframe ):

abstract_reasoning / extrapolation

  • コンフィグの説明:補間ではと同じですが、値の
    属性は、次の期間中、離散セットの下半分に制限されていました。
    一方、テストセットでは、上半分の値を取りました。

  • tfds.as_dataframe ):

abstract_reasoning / attr.rel.pairs

  • コンフィグの説明:すべての$ S $は、少なくとも2つのトリプルを含んでい
    $([r_1、o_1、a_1]、[r_2、o_2、a_2])=(t_1、t_2)$、そのうち400が実行可能です。私たち
    360をトレーニングセットに、40をテストセットにランダムに割り当てました。メンバー
    40個の差し出されたペアの$(t_1、t_2)$は、構造$ S $で一緒に発生しませんでした
    トレーニングセットで、すべての構造$ S $には少なくとも1つのそのようなペアがありました
    サブセットとしての$(t_1、t_2)$。

  • tfds.as_dataframe ):

abstract_reasoning / attr.rels

  • コンフィグの説明:私たちのデータセットでは、ユニークな29可能があります
    $ [r、o、a] $を3倍にします。これらのうち7つをテストセットにランダムに割り当てました。
    ただし、各属性がこのセットで1回だけ表されるようにします。
    これらの差し出されたトリプルは、トレーニングセットの質問では発生しませんでした。
    テストセットのすべての$ S $には、少なくとも1つが含まれていました。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.pairs

  • コンフィグの説明:$ S $は、少なくとも2つのトリプルを含んでいました。 20あります
    (順序付けられていない)実行可能な属性のペア$(a_1、a_2)$
    $ r_i、o_i、([r_1、o_1、a_1]、[r_2、o_2、a_2])$は実行可能なトリプルペアです
    $([r_1、o_1、a_1]、[r_2、o_2、a_2])=(t_1、t_2)$。これらのペアのうち16を割り当てました
    トレーニング用とテスト用に4つ。テストセットのペア$(a_1、a_2)$の場合、
    トレーニングセットの$ S $には、$ a_1 $または$ a_2 $のトリプルが含まれていました。テストで
    セットすると、すべての$ S $には$ a_1 $と$ a_2 $のトリプルが含まれていました。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.shape.color

  • コンフィグの説明:開催アウト属性の形状色。 $ S $ in
    トレーニングセットには、$ o $ = shapeと$ a $ = colorのトリプルは含まれていませんでした。
    テストセットのパズルを管理するすべての構造には、少なくとも1つのトリプルが含まれていました
    $ o $ =形と$ a $ =色で。

  • tfds.as_dataframe ):

abstract_reasoning / attrs.line.type

  • コンフィグの説明:開催アウト属性のライン型。 $ S $ in
    トレーニングセットには、$ o $ = lineと$ a $ = typeのトリプルは含まれていませんでした。
    テストセットのパズルを管理するすべての構造には、少なくとも1つのトリプルが含まれていました
    $ o $ = lineおよび$ a $ = typeを使用します。

  • tfds.as_dataframe ):