qa4mre

  • 説明:

QA4MRE データセットは、質問応答と読解力の研究を促進するために、CLEF 2011/2012/2013 共有タスク用に作成されました。データセットには、補助的なパッセージとパッセージに対応する一連の質問が含まれています。各質問には複数の回答オプションが用意されており、そのうちの 1 つだけが正解です。トレーニング データセットとテスト データセットは、メイン トラックで利用できます。アルツハイマー病のデータに関するものと、入試データに関するものです。

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
answer_options順序
answer_options/answer_id文章ストリング
answer_options/answer_str文章ストリング
correct_answer_id文章ストリング
correct_answer_str文章ストリング
ドキュメント ID文章ストリング
document_str文章ストリング
question_id文章ストリング
question_str文章ストリング
test_id文章ストリング
topic_id文章ストリング
トピック名文章ストリング
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (デフォルト設定)

  • 構成の説明: この構成には、2011 年の DE 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 217.08 KiB

  • データセットのサイズ: 1.69 MiB

  • スプリット:

スプリット
'train' 120

qa4mre/2011.main.EN

  • 構成の説明: この構成には、2011 年の EN 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 197.74 KiB

  • データセットサイズ: 1.52 MiB

  • スプリット:

スプリット
'train' 120

qa4mre/2011.main.ES

  • 構成の説明: この構成には、2011 年の ES 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 212.52 KiB

  • データセットサイズ: 1.64 MiB

  • スプリット:

スプリット
'train' 120

qa4mre/2011.main.IT

  • 構成の説明: この構成には、2011 年の IT 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 209.73 KiB

  • データセットサイズ: 1.61 MiB

  • スプリット:

スプリット
'train' 120

qa4mre/2011.main.RO

  • 構成の説明: この構成には、2011 年の RO 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 216.32 KiB

  • データセットサイズ: 1.68 MiB

  • スプリット:

スプリット
'train' 120

qa4mre/2012.main.AR

  • 構成の説明: この構成には、2012 年の AR 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 347.83 KiB

  • データセットサイズ: 2.62 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.BG

  • 構成の説明: この構成には、2012 年の BG 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 434.63 KiB

  • データセットサイズ: 3.33 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.DE

  • 構成の説明: この構成には、2012 年の DE 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 275.00 KiB

  • データセットサイズ: 2.02 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.EN

  • 構成の説明: この構成には、2012 年の EN 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 237.76 KiB

  • データセットサイズ: 1.71 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.ES

  • 構成の説明: この構成には、2012 年の ES 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 271.92 KiB

  • データセットのサイズ: 1.99 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.IT

  • 構成の説明: この構成には、2012 年の IT 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 273.49 KiB

  • データセットサイズ: 2.01 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.main.RO

  • 構成の説明: この構成には、2012 年の RO 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 272.99 KiB

  • データセットサイズ: 2.01 MiB

  • スプリット:

スプリット
'train' 160

qa4mre/2012.alzheimers.EN

  • 構成の説明: この構成には、2012 年の EN 言語のアルツハイマー トラックが含まれます。

  • ダウンロードサイズ: 173.19 KiB

  • データセットサイズ: 1.57 MiB

  • スプリット:

スプリット
'train' 40

qa4mre/2013.main.AR

  • 構成の説明: この構成には、2013 年の AR 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 369.44 KiB

  • データセットサイズ: 4.04 MiB

  • スプリット:

スプリット
'train' 284

qa4mre/2013.main.BG

  • 構成の説明: この構成には、2013 年の BG 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 452.74 KiB

  • データセットサイズ: 5.21 MiB

  • スプリット:

スプリット
'train' 284

qa4mre/2013.main.EN

  • 構成の説明: この構成には、2013 年の EN 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 268.52 KiB

  • データセットサイズ: 2.81 MiB

  • スプリット:

スプリット
'train' 284

qa4mre/2013.main.ES

  • 構成の説明: この構成には、2013 年の ES 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 307.78 KiB

  • データセットサイズ: 3.35 MiB

  • スプリット:

スプリット
'train' 284

qa4mre/2013.main.RO

  • 構成の説明: この構成には、2013 年の RO 言語のメイン トラックが含まれています。

  • ダウンロードサイズ: 306.16 KiB

  • データセットサイズ: 3.26 MiB

  • スプリット:

スプリット
'train' 284

qa4mre/2013.alzheimers.EN

  • 構成の説明: この構成には、2013 年の EN 言語のアルツハイマー トラックが含まれます。

  • ダウンロードサイズ: 267.98 KiB

  • データセットサイズ: 2.50 MiB

  • スプリット:

スプリット
'train' 40

qa4mre/2013.entrance_exam.EN

  • 構成の説明: この構成には、2013 年の EN 言語の entry_exam トラックが含まれています。

  • ダウンロードサイズ: 53.32 KiB

  • データセットサイズ: 186.01 KiB

  • スプリット:

スプリット
'train' 46