qa4mre

  • 説明

QA4MREデータセットは、CLEF 2011/2012/2013共有タスク用に作成され、質問への回答と読解力に関する研究を促進します。データセットには、サポートするパッセージと、パッセージに対応する一連の質問が含まれています。質問ごとに複数の回答オプションが用意されていますが、正しいのは1つだけです。トレーニングとテストのデータセットは、メイントラックで利用できます。追加のゴールドスタンダード文書は、2つのパイロット研究で利用できます。1つはアルツハイマー病データに関するもので、もう1つは入試データに関するものです。

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=tf.string),
        'answer_str': Text(shape=(), dtype=tf.string),
    }),
    'correct_answer_id': Text(shape=(), dtype=tf.string),
    'correct_answer_str': Text(shape=(), dtype=tf.string),
    'document_id': Text(shape=(), dtype=tf.string),
    'document_str': Text(shape=(), dtype=tf.string),
    'question_id': Text(shape=(), dtype=tf.string),
    'question_str': Text(shape=(), dtype=tf.string),
    'test_id': Text(shape=(), dtype=tf.string),
    'topic_id': Text(shape=(), dtype=tf.string),
    'topic_name': Text(shape=(), dtype=tf.string),
})
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre / 2011.main.DE(デフォルト設定)

  • コンフィグの説明:この設定は、2011年にDE言語のメイントラックが含まれています。

  • データセットサイズ1.69 MiB

  • スプリット

スプリット
'train' 120

qa4mre / 2011.main.EN

  • コンフィグの説明:この設定は、2011年にEN言語のメイントラックが含まれています。

  • データセットサイズ1.52 MiB

  • スプリット

スプリット
'train' 120

qa4mre / 2011.main.ES

  • コンフィグの説明:この設定は、2011年にES言語のメイントラックが含まれています。

  • データセットサイズ1.64 MiB

  • スプリット

スプリット
'train' 120

qa4mre / 2011.main.IT

  • コンフィグの説明:この設定は、2011年のIT言語のメイントラックが含まれています。

  • データセットサイズ1.61 MiB

  • スプリット

スプリット
'train' 120

qa4mre / 2011.main.RO

  • コンフィグの説明:この設定は、2011年にRO言語のメイントラックが含まれています。

  • データセットサイズ1.68 MiB

  • スプリット

スプリット
'train' 120

qa4mre / 2012.main.AR

  • コンフィグの説明:この設定は、2012年におけるARの言語のための主要なトラックを含んでいます。

  • データセットサイズ2.62 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.BG

  • コンフィグの説明:この設定は、2012年におけるBG言語のメイントラックが含まれています。

  • データセットサイズ3.33 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.DE

  • コンフィグの説明:この設定は、2012年のDE言語のメイントラックが含まれています。

  • データセットサイズ2.02 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.EN

  • コンフィグの説明:この設定は、2012年にEN言語のメイントラックが含まれています。

  • データセットサイズ1.71 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.ES

  • コンフィグの説明:この設定は、2012年のES言語のメイントラックが含まれています。

  • データセットサイズ1.99 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.IT

  • コンフィグの説明:この設定は、2012年のIT言語のメイントラックが含まれています。

  • データセットサイズ2.01 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.main.RO

  • コンフィグの説明:この設定は、2012年にRO言語のメイントラックが含まれています。

  • データセットサイズ2.01 MiB

  • スプリット

スプリット
'train' 160

qa4mre / 2012.alzheimers.EN

  • コンフィグの説明:この構成では、アルツハイマー病は、2012年にEN言語の追跡が含まれます。

  • データセットサイズ1.57 MiB

  • スプリット

スプリット
'train' 40

qa4mre / 2013.main.AR

  • コンフィグの説明:この設定は、2013年におけるARの言語のための主要なトラックを含んでいます。

  • データセットサイズ4.04 MiB

  • スプリット

スプリット
'train' 284

qa4mre / 2013.main.BG

  • コンフィグの説明:この設定は、2013年におけるBG言語のメイントラックが含まれています。

  • データセットサイズ5.21 MiB

  • スプリット

スプリット
'train' 284

qa4mre / 2013.main.EN

  • コンフィグの説明:この設定は、2013年にEN言語のメイントラックが含まれています。

  • データセットサイズ2.81 MiB

  • スプリット

スプリット
'train' 284

qa4mre / 2013.main.ES

  • コンフィグの説明:この設定は、2013年のES言語のメイントラックが含まれています。

  • データセットサイズ3.35 MiB

  • スプリット

スプリット
'train' 284

qa4mre / 2013.main.RO

  • コンフィグの説明:この設定は、2013年にRO言語のメイントラックが含まれています。

  • データセットサイズ3.26 MiB

  • スプリット

スプリット
'train' 284

qa4mre / 2013.alzheimers.EN

  • コンフィグの説明:この構成では、アルツハイマー病は、2013年にEN言語の追跡が含まれます。

  • データセットサイズ2.50 MiB

  • スプリット

スプリット
'train' 40

qa4mre / 2013.entrance_exam.EN

  • コンフィグの説明:この設定は、2013年にEN言語のentrance_examトラックを含んでいます。

  • データセットのサイズ186.01 KiB

  • スプリット

スプリット
'train' 46