qa4mre

  • opis :

Zbiór danych QA4MRE został stworzony dla wspólnych zadań CLEF 2011/2012/2013 w celu promowania badań dotyczących odpowiadania na pytania i czytania ze zrozumieniem. Zbiór danych zawiera fragment wspierający i zestaw pytań odpowiadających temu fragmentowi. Dla każdego pytania podano kilka opcji odpowiedzi, z których tylko jedna jest poprawna. Szkoleniowe i testowe zestawy danych są dostępne dla ścieżki głównej. Dostępne są dodatkowe dokumenty o złotym standardzie dla dwóch badań pilotażowych: jedno dotyczące danych dotyczących choroby Alzheimera, a drugie dotyczące danych z egzaminów wstępnych.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształtować się Typ D Opis
FunkcjeDict
opcje_odpowiedzi Sekwencja
opcje_odpowiedzi/identyfikator_odpowiedzi Tekst strunowy
answer_options/answer_str Tekst strunowy
poprawny_identyfikator_odpowiedzi Tekst strunowy
poprawna_odpowiedź_str Tekst strunowy
identyfikator_dokumentu Tekst strunowy
dokument_str Tekst strunowy
identyfikator_pytania Tekst strunowy
pytanie_str Tekst strunowy
identyfikator_testu Tekst strunowy
identyfikator_tematu Tekst strunowy
Nazwa tematu Tekst strunowy
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (domyślna konfiguracja)

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka DE w 2011 roku.

  • Rozmiar pliku do pobrania : 217.08 KiB

  • Rozmiar zestawu danych : 1.69 MiB

  • Podziały :

Podział Przykłady
'train' 120

qa4mre/2011.main.EN

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka EN w 2011 roku.

  • Rozmiar pliku do pobrania : 197.74 KiB

  • Rozmiar zestawu danych : 1.52 MiB

  • Podziały :

Podział Przykłady
'train' 120

qa4mre/2011.main.ES

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka ES w 2011 roku.

  • Rozmiar pliku do pobrania : 212.52 KiB

  • Rozmiar zestawu danych : 1.64 MiB

  • Podziały :

Podział Przykłady
'train' 120

qa4mre/2011.main.IT

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka IT w 2011 roku.

  • Rozmiar pliku do pobrania : 209.73 KiB

  • Rozmiar zestawu danych : 1.61 MiB

  • Podziały :

Podział Przykłady
'train' 120

qa4mre/2011.main.RO

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka RO w 2011 roku.

  • Rozmiar pliku do pobrania : 216.32 KiB

  • Rozmiar zestawu danych : 1.68 MiB

  • Podziały :

Podział Przykłady
'train' 120

qa4mre/2012.main.AR

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka AR w roku 2012.

  • Rozmiar pliku do pobrania : 347.83 KiB

  • Rozmiar zestawu danych : 2.62 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.BG

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka BG w 2012 roku.

  • Rozmiar pliku do pobrania : 434.63 KiB

  • Rozmiar zestawu danych : 3.33 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.DE

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka DE w 2012 roku.

  • Rozmiar pliku do pobrania : 275.00 KiB

  • Rozmiar zestawu danych : 2.02 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.PL

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka EN w roku 2012.

  • Rozmiar pliku do pobrania : 237.76 KiB

  • Rozmiar zestawu danych : 1.71 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.ES

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka ES w roku 2012.

  • Rozmiar pliku do pobrania : 271.92 KiB

  • Rozmiar zestawu danych : 1.99 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.IT

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka IT w 2012 roku.

  • Rozmiar pliku do pobrania : 273.49 KiB

  • Rozmiar zestawu danych : 2.01 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.main.RO

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka RO w 2012 roku.

  • Rozmiar pliku do pobrania : 272.99 KiB

  • Rozmiar zestawu danych : 2.01 MiB

  • Podziały :

Podział Przykłady
'train' 160

qa4mre/2012.alzheimers.PL

  • Opis konfiguracji: Ta konfiguracja obejmuje ścieżkę alzheimera dla języka EN w 2012 roku.

  • Rozmiar pliku do pobrania : 173.19 KiB

  • Rozmiar zestawu danych : 1.57 MiB

  • Podziały :

Podział Przykłady
'train' 40

qa4mre/2013.main.AR

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka AR w 2013 roku.

  • Rozmiar pliku do pobrania : 369.44 KiB

  • Rozmiar zestawu danych : 4.04 MiB

  • Podziały :

Podział Przykłady
'train' 284

qa4mre/2013.main.BG

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka BG w 2013 roku.

  • Rozmiar pliku do pobrania : 452.74 KiB

  • Rozmiar zestawu danych : 5.21 MiB

  • Podziały :

Podział Przykłady
'train' 284

qa4mre/2013.main.PL

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka EN w 2013 roku.

  • Rozmiar pliku do pobrania : 268.52 KiB

  • Rozmiar zestawu danych : 2.81 MiB

  • Podziały :

Podział Przykłady
'train' 284

qa4mre/2013.main.ES

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka ES w roku 2013.

  • Rozmiar pliku do pobrania : 307.78 KiB

  • Rozmiar zestawu danych : 3.35 MiB

  • Podziały :

Podział Przykłady
'train' 284

qa4mre/2013.main.RO

  • Opis konfiguracji: Ta konfiguracja obejmuje główną ścieżkę dla języka RO w 2013 roku.

  • Rozmiar pliku do pobrania : 306.16 KiB

  • Rozmiar zestawu danych : 3.26 MiB

  • Podziały :

Podział Przykłady
'train' 284

qa4mre/2013.alzheimers.PL

  • Opis konfiguracji: Ta konfiguracja obejmuje ścieżkę alzheimera dla języka EN w 2013 roku.

  • Rozmiar pliku do pobrania : 267.98 KiB

  • Rozmiar zestawu danych : 2.50 MiB

  • Podziały :

Podział Przykłady
'train' 40

qa4mre/2013.entrance_exam.EN

  • Opis konfiguracji: Ta konfiguracja obejmuje ścieżkę egzaminu wstępnego dla języka EN w 2013 roku.

  • Rozmiar pliku do pobrania : 53.32 KiB

  • Rozmiar zbioru danych : 186.01 KiB

  • Podziały :

Podział Przykłady
'train' 46