ai2_arc_with_ir

  • 説明

高度な質問応答の研究を奨励するために集められた、7,787の本物の小学校レベルの多肢選択式の科学の質問の新しいデータセット。データセットはチャレンジセットとイージーセットに分割され、前者には検索ベースのアルゴリズムと単語の共起アルゴリズムの両方によって誤って回答された質問のみが含まれます。また、タスクに関連する1,400万を超える科学文のコーパスと、このデータセットの3つのニューラルベースラインモデルの実装も含まれています。私たちはARCをコミュニティへの挑戦として提起します。

元のデータセットと比較し、これは(:参照UnifiedQAと同様に、情報検索により得られたコンテキスト文章を追加https://arxiv.org/abs/2005.00700 )。

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
        'text': Text(shape=(), dtype=tf.string),
    }),
    'id': Text(shape=(), dtype=tf.string),
    'paragraph': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir / ARC-チャレンジ-IR(デフォルト設定)

  • コンフィグの説明:2590年「ハード」の質問のチャレンジセット(それらの検索と共起方式の両方が正しく答えるために失敗していること)

  • データセットサイズ3.76 MiB

  • スプリット

スプリット
'test' 1,172
'train' 1,119
'validation' 299

ai2_arc_with_ir / ARC-Easy-IR

  • コンフィグの説明:ARCチャレンジのための5197個の質問の簡単設定。

  • データセットサイズ7.49 MiB

  • スプリット

スプリット
'test' 2,376
'train' 2,251
'validation' 570