Sintonize-se com as primeiras mulheres em ML Simpósio esta terça-feira 19 out às 9h PST Register now

qa4mre

  • Descrição:

O conjunto de dados QA4MRE foi criado para as tarefas compartilhadas do CLEF 2011/2012/2013 para promover a pesquisa em resposta a perguntas e compreensão de leitura. O conjunto de dados contém uma passagem de apoio e um conjunto de perguntas correspondentes à passagem. Múltiplas opções de respostas são fornecidas para cada pergunta, das quais apenas uma é a correta. Os conjuntos de dados de treinamento e teste estão disponíveis para a trilha principal. Documentos adicionais padrão ouro estão disponíveis para dois estudos piloto: um sobre dados de Alzheimer e outro sobre dados de exames de admissão.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=tf.string),
        'answer_str': Text(shape=(), dtype=tf.string),
    }),
    'correct_answer_id': Text(shape=(), dtype=tf.string),
    'correct_answer_str': Text(shape=(), dtype=tf.string),
    'document_id': Text(shape=(), dtype=tf.string),
    'document_str': Text(shape=(), dtype=tf.string),
    'question_id': Text(shape=(), dtype=tf.string),
    'question_str': Text(shape=(), dtype=tf.string),
    'test_id': Text(shape=(), dtype=tf.string),
    'topic_id': Text(shape=(), dtype=tf.string),
    'topic_name': Text(shape=(), dtype=tf.string),
})
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre / 2011.main.DE (configuração padrão)

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem DE em 2011 ano.

  • Dataset tamanho: 1.69 MiB

  • desdobramentos:

Dividir Exemplos
'train' 120

qa4mre / 2011.main.EN

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem EN em 2011 ano.

  • Conjunto de dados de tamanho: 1.52 MiB

  • desdobramentos:

Dividir Exemplos
'train' 120

qa4mre / 2011.main.ES

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem ES em 2011 ano.

  • Dataset tamanho: 1.64 MiB

  • desdobramentos:

Dividir Exemplos
'train' 120

qa4mre / 2011.main.IT

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem de TI em 2011 ano.

  • Dataset tamanho: 1.61 MiB

  • desdobramentos:

Dividir Exemplos
'train' 120

qa4mre / 2011.main.RO

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem RO em 2011 ano.

  • Dataset tamanho: 1.68 MiB

  • desdobramentos:

Dividir Exemplos
'train' 120

qa4mre / 2012.main.AR

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem AR em 2012 ano.

  • Conjunto de dados de tamanho: 2.62 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.BG

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem BG em 2012 ano.

  • Dataset tamanho: 3.33 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.DE

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem DE em 2012 ano.

  • Dataset tamanho: 2.02 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.EN

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem EN em 2012 ano.

  • Dataset tamanho: 1.71 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.ES

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem ES em 2012 ano.

  • Dataset size: 1.99 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.IT

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem de TI em 2012 ano.

  • Dataset tamanho: 2.01 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.main.RO

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem RO em 2012 ano.

  • Dataset tamanho: 2.01 MiB

  • desdobramentos:

Dividir Exemplos
'train' 160

qa4mre / 2012.alzheimers.EN

  • Configuração Descrição: Esta configuração inclui os alzheimers pista para PT Língua em 2012 ano.

  • Dataset tamanho: 1.57 MiB

  • desdobramentos:

Dividir Exemplos
'train' 40

qa4mre / 2013.main.AR

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem AR em 2013 ano.

  • Dataset tamanho: 4.04 MiB

  • desdobramentos:

Dividir Exemplos
'train' 284

qa4mre / 2013.main.BG

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem BG em 2013 ano.

  • Dataset tamanho: 5.21 MiB

  • desdobramentos:

Dividir Exemplos
'train' 284

qa4mre / 2013.main.EN

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem EN em 2013 ano.

  • Dataset tamanho: 2.81 MiB

  • desdobramentos:

Dividir Exemplos
'train' 284

qa4mre / 2013.main.ES

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem ES em 2013 ano.

  • Dataset tamanho: 3.35 MiB

  • desdobramentos:

Dividir Exemplos
'train' 284

qa4mre / 2013.main.RO

  • Configuração Descrição: Esta configuração inclui a pista principal para a linguagem RO em 2013 ano.

  • Dataset tamanho: 3.26 MiB

  • desdobramentos:

Dividir Exemplos
'train' 284

qa4mre / 2013.alzheimers.EN

  • Configuração Descrição: Esta configuração inclui os alzheimers pista para PT Língua em 2013 ano.

  • Dataset tamanho: 2.50 MiB

  • desdobramentos:

Dividir Exemplos
'train' 40

qa4mre / 2013.entrance_exam.EN

  • A inscrição Config: Esta configuração inclui a faixa entrance_exam para a linguagem EN em 2013 ano.

  • Dataset size: 186.01 KiB

  • desdobramentos:

Dividir Exemplos
'train' 46