¡El Día de la Comunidad de ML es el 9 de noviembre! Únase a nosotros para recibir actualizaciones de TensorFlow, JAX, y más Más información

qa4mre

  • Descripción:

El conjunto de datos QA4MRE fue creado para las tareas compartidas CLEF 2011/2012/2013 para promover la investigación en respuesta a preguntas y comprensión lectora. El conjunto de datos contiene un pasaje de apoyo y un conjunto de preguntas correspondientes al pasaje. Se proporcionan múltiples opciones de respuesta para cada pregunta, de las cuales solo una es correcta. Los conjuntos de datos de entrenamiento y prueba están disponibles para la pista principal. Se encuentran disponibles documentos estándar de oro adicionales para dos estudios piloto: uno sobre datos de alzheimers y el otro sobre datos de exámenes de ingreso.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=tf.string),
        'answer_str': Text(shape=(), dtype=tf.string),
    }),
    'correct_answer_id': Text(shape=(), dtype=tf.string),
    'correct_answer_str': Text(shape=(), dtype=tf.string),
    'document_id': Text(shape=(), dtype=tf.string),
    'document_str': Text(shape=(), dtype=tf.string),
    'question_id': Text(shape=(), dtype=tf.string),
    'question_str': Text(shape=(), dtype=tf.string),
    'test_id': Text(shape=(), dtype=tf.string),
    'topic_id': Text(shape=(), dtype=tf.string),
    'topic_name': Text(shape=(), dtype=tf.string),
})
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre / 2011.main.DE (configuración predeterminada)

  • Descripción config: Esta configuración incluye la pista principal para DE idioma en 2011 año.

  • Conjunto de datos de tamaño: 1.69 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 120

qa4mre / 2011.main.EN

  • Descripción config: Esta configuración incluye la pista principal para EN idioma en 2011 año.

  • Conjunto de datos de tamaño: 1.52 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 120

qa4mre / 2011.main.ES

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje ES en 2011 año.

  • Conjunto de datos de tamaño: 1.64 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 120

qa4mre / 2011.main.IT

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje de TI en 2011 año.

  • Conjunto de datos de tamaño: 1.61 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 120

qa4mre / 2011.main.RO

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje RO en 2011 año.

  • Conjunto de datos de tamaño: 1.68 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 120

qa4mre / 2012.main.AR

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje AR en 2012 año.

  • Conjunto de datos de tamaño: 2.62 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.BG

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje BG en 2012 año.

  • Conjunto de datos de tamaño: 3.33 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.DE

  • Descripción config: Esta configuración incluye la pista principal para DE idioma en 2012 año.

  • Conjunto de datos de tamaño: 2.02 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.EN

  • Descripción config: Esta configuración incluye la pista principal para EN idioma en 2012 año.

  • Conjunto de datos de tamaño: 1.71 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.ES

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje ES en 2012 año.

  • Conjunto de datos de tamaño: 1.99 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.IT

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje de TI en 2012 año.

  • Conjunto de datos de tamaño: 2.01 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.main.RO

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje RO en 2012 año.

  • Conjunto de datos de tamaño: 2.01 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 160

qa4mre / 2012.alzheimers.EN

  • Descripción config: Esta configuración incluye el seguimiento de Alzheimer para el lenguaje ES en 2012 año.

  • Conjunto de datos de tamaño: 1.57 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 40

qa4mre / 2013.main.AR

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje AR en 2013 año.

  • Conjunto de datos de tamaño: 4.04 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 284

qa4mre / 2013.main.BG

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje BG en 2013 año.

  • Conjunto de datos de tamaño: 5.21 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 284

qa4mre / 2013.main.EN

  • Descripción config: Esta configuración incluye la pista principal para EN idioma en 2013 año.

  • Conjunto de datos de tamaño: 2.81 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 284

qa4mre / 2013.main.ES

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje ES en 2013 año.

  • Conjunto de datos de tamaño: 3.35 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 284

qa4mre / 2013.main.RO

  • Descripción config: Esta configuración incluye la pista principal para el lenguaje RO en 2013 año.

  • Conjunto de datos de tamaño: 3.26 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 284

qa4mre / 2013.alzheimers.EN

  • Descripción config: Esta configuración incluye el seguimiento de Alzheimer para el lenguaje ES en 2013 año.

  • Conjunto de datos de tamaño: 2.50 MiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 40

qa4mre / 2013.entrance_exam.EN

  • Descripción config: Esta configuración incluye la pista entrance_exam para EN idioma en 2013 año.

  • Conjunto de datos de tamaño: 186.01 KiB

  • Fraccionamientos:

Separar Ejemplos de
'train' 46