qa4mre

  • Description:

L'ensemble de données QA4MRE a été créé pour les tâches partagées CLEF 2011/2012/2013 afin de promouvoir la recherche en réponse aux questions et en compréhension de la lecture. L'ensemble de données contient un passage de support et un ensemble de questions correspondant au passage. Plusieurs options de réponses sont fournies pour chaque question, dont une seule est correcte. Les ensembles de données d'entraînement et de test sont disponibles pour la piste principale. Des documents de référence supplémentaires sont disponibles pour deux études pilotes : l'une sur les données d'Alzheimer et l'autre sur les données des examens d'entrée.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=tf.string),
        'answer_str': Text(shape=(), dtype=tf.string),
    }),
    'correct_answer_id': Text(shape=(), dtype=tf.string),
    'correct_answer_str': Text(shape=(), dtype=tf.string),
    'document_id': Text(shape=(), dtype=tf.string),
    'document_str': Text(shape=(), dtype=tf.string),
    'question_id': Text(shape=(), dtype=tf.string),
    'question_str': Text(shape=(), dtype=tf.string),
    'test_id': Text(shape=(), dtype=tf.string),
    'topic_id': Text(shape=(), dtype=tf.string),
    'topic_name': Text(shape=(), dtype=tf.string),
})
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configuration par défaut)

  • Description Config: Cette configuration comprend la voie principale pour la langue DE en 2011 année.

  • Dataset Taille: 1.69 MiB

  • scissions:

Diviser Exemples
'train' 120

qa4mre/2011.main.FR

  • Description Config: Cette configuration comprend la voie principale pour la langue EN en 2011 année.

  • Dataset Taille: 1.52 MiB

  • scissions:

Diviser Exemples
'train' 120

qa4mre/2011.main.ES

  • Description Config: Cette configuration comprend la voie principale pour la langue ES en 2011 année.

  • Dataset Taille: 1.64 MiB

  • scissions:

Diviser Exemples
'train' 120

qa4mre/2011.main.IT

  • Description Config: Cette configuration comprend la voie principale pour la langue IT en 2011 année.

  • Dataset Taille: 1.61 MiB

  • scissions:

Diviser Exemples
'train' 120

qa4mre/2011.main.RO

  • Description Config: Cette configuration comprend la voie principale pour la langue RO en 2011 année.

  • Dataset Taille: 1.68 MiB

  • scissions:

Diviser Exemples
'train' 120

qa4mre/2012.main.AR

  • Description Config: Cette configuration comprend la voie principale pour la langue AR en 2012 année.

  • Dataset taille: 2.62 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.BG

  • Description Config: Cette configuration comprend la voie principale pour la langue BG en 2012 année.

  • Dataset Taille: 3.33 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.DE

  • Description Config: Cette configuration comprend la voie principale pour la langue DE en 2012 année.

  • Dataset Taille: 2.02 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.FR

  • Description Config: Cette configuration comprend la voie principale pour la langue en 2012 EN année.

  • Dataset Taille: 1.71 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.ES

  • Description Config: Cette configuration comprend la voie principale pour la langue ES en 2012 année.

  • Dataset Taille: 1.99 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.IT

  • Description Config: Cette configuration comprend la voie principale pour la langue IT en 2012 année.

  • Dataset Taille: 2.01 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.main.RO

  • Description Config: Cette configuration comprend la voie principale pour la langue RO en 2012 année.

  • Dataset Taille: 2.01 MiB

  • scissions:

Diviser Exemples
'train' 160

qa4mre/2012.alzheimers.FR

  • Description Config: Cette configuration comprend les alzheimers piste pour la langue en 2012 EN année.

  • Dataset Taille: 1.57 MiB

  • scissions:

Diviser Exemples
'train' 40

qa4mre/2013.main.AR

  • Description Config: Cette configuration comprend la voie principale pour la langue AR en 2013 année.

  • Dataset Taille: 4.04 MiB

  • scissions:

Diviser Exemples
'train' 284

qa4mre/2013.main.BG

  • Description Config: Cette configuration comprend la voie principale pour la langue BG en 2013 année.

  • Dataset Taille: 5.21 MiB

  • scissions:

Diviser Exemples
'train' 284

qa4mre/2013.main.FR

  • Description Config: Cette configuration comprend la voie principale pour la langue en 2013 EN année.

  • Dataset Taille: 2.81 MiB

  • scissions:

Diviser Exemples
'train' 284

qa4mre/2013.main.ES

  • Description Config: Cette configuration comprend la voie principale pour la langue ES en 2013 année.

  • Dataset Taille: 3.35 MiB

  • scissions:

Diviser Exemples
'train' 284

qa4mre/2013.main.RO

  • Description Config: Cette configuration comprend la voie principale pour la langue RO en 2013 année.

  • Dataset Taille: 3.26 MiB

  • scissions:

Diviser Exemples
'train' 284

qa4mre/2013.alzheimers.FR

  • Description Config: Cette configuration comprend les alzheimers piste pour la langue en 2013 EN année.

  • Dataset Taille: 2.50 MiB

  • scissions:

Diviser Exemples
'train' 40

qa4mre/2013.entrance_exam.EN

  • Description Config: Cette configuration comprend la piste entrance_exam pour la langue en 2013 EN année.

  • Dataset Taille: 186.01 KiB

  • scissions:

Diviser Exemples
'train' 46