qa4mre

  • توضیحات :

مجموعه داده QA4MRE برای وظایف مشترک CLEF 2011/2012/2013 برای ترویج تحقیق در پاسخ به سؤال و درک مطلب ایجاد شد. مجموعه داده شامل یک متن پشتیبانی و مجموعه ای از سوالات مربوط به متن است. برای هر سوال چندین گزینه برای پاسخ ارائه شده است که تنها یکی از آنها صحیح است. مجموعه داده های آموزشی و آزمایشی برای مسیر اصلی در دسترس هستند. اسناد استاندارد طلایی اضافی برای دو مطالعه آزمایشی در دسترس است: یکی در مورد داده های آلزایمر و دیگری در مورد داده های امتحانات ورودی.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
پاسخ_گزینه ها توالی
answer_options/answer_id متن رشته
answer_options/answer_str متن رشته
correct_answer_id متن رشته
correct_answer_str متن رشته
شناسه_document متن رشته
document_str متن رشته
question_id متن رشته
question_str متن رشته
test_id متن رشته
topic_id متن رشته
موضوع_نام متن رشته
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (پیکربندی پیش فرض)

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان DE در سال 2011 است.

  • حجم دانلود : 217.08 KiB

  • حجم مجموعه داده : 1.69 MiB

  • تقسیم ها :

شکاف مثال ها
'train' 120

qa4mre/2011.main.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان EN در سال 2011 است.

  • حجم دانلود : 197.74 KiB

  • حجم مجموعه داده : 1.52 MiB

  • تقسیمات :

شکاف مثال ها
'train' 120

qa4mre/2011.main.ES

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان ES در سال 2011 است.

  • حجم دانلود : 212.52 KiB

  • حجم مجموعه داده : 1.64 MiB

  • تقسیمات :

شکاف مثال ها
'train' 120

qa4mre/2011.main.IT

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان فناوری اطلاعات در سال 2011 است.

  • حجم دانلود : 209.73 KiB

  • حجم مجموعه داده : 1.61 MiB

  • تقسیمات :

شکاف مثال ها
'train' 120

qa4mre/2011.main.RO

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان RO در سال 2011 است.

  • حجم دانلود : 216.32 KiB

  • حجم مجموعه داده : 1.68 MiB

  • تقسیمات :

شکاف مثال ها
'train' 120

qa4mre/2012.main.AR

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان AR در سال 2012 است.

  • حجم دانلود : 347.83 KiB

  • حجم مجموعه داده : 2.62 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.BG

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان BG در سال 2012 است.

  • حجم دانلود : 434.63 KiB

  • حجم مجموعه داده : 3.33 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.DE

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان DE در سال 2012 است.

  • حجم دانلود : 275.00 KiB

  • حجم مجموعه داده : 2.02 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان EN در سال 2012 است.

  • حجم دانلود : 237.76 KiB

  • حجم مجموعه داده : 1.71 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.ES

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان ES در سال 2012 است.

  • حجم دانلود : 271.92 KiB

  • حجم مجموعه داده : 1.99 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.IT

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان فناوری اطلاعات در سال 2012 است.

  • حجم دانلود : 273.49 KiB

  • حجم مجموعه داده : 2.01 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.main.RO

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان RO در سال 2012 است.

  • حجم دانلود : 272.99 KiB

  • حجم مجموعه داده : 2.01 MiB

  • تقسیمات :

شکاف مثال ها
'train' 160

qa4mre/2012.alzheimers.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر آلزایمر برای زبان EN در سال 2012 است.

  • حجم دانلود : 173.19 KiB

  • حجم مجموعه داده : 1.57 MiB

  • تقسیمات :

شکاف مثال ها
'train' 40

qa4mre/2013.main.AR

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان AR در سال 2013 است.

  • حجم دانلود : 369.44 KiB

  • حجم مجموعه داده : 4.04 MiB

  • تقسیمات :

شکاف مثال ها
'train' 284

qa4mre/2013.main.BG

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان BG در سال 2013 است.

  • حجم دانلود : 452.74 KiB

  • حجم مجموعه داده : 5.21 MiB

  • تقسیمات :

شکاف مثال ها
'train' 284

qa4mre/2013.main.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان EN در سال 2013 است.

  • حجم دانلود : 268.52 KiB

  • حجم مجموعه داده : 2.81 MiB

  • تقسیمات :

شکاف مثال ها
'train' 284

qa4mre/2013.main.ES

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان ES در سال 2013 است.

  • حجم دانلود : 307.78 KiB

  • حجم مجموعه داده : 3.35 MiB

  • تقسیمات :

شکاف مثال ها
'train' 284

qa4mre/2013.main.RO

  • توضیحات پیکربندی : این پیکربندی شامل مسیر اصلی برای زبان RO در سال 2013 است.

  • حجم دانلود : 306.16 KiB

  • حجم مجموعه داده : 3.26 MiB

  • تقسیمات :

شکاف مثال ها
'train' 284

qa4mre/2013.alzheimers.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر آلزایمر برای زبان EN در سال 2013 است.

  • حجم دانلود : 267.98 KiB

  • حجم مجموعه داده : 2.50 MiB

  • تقسیمات :

شکاف مثال ها
'train' 40

qa4mre/2013.entrance_exam.EN

  • توضیحات پیکربندی : این پیکربندی شامل مسیر ورودی_آزمون برای زبان EN در سال 2013 است.

  • حجم دانلود : 53.32 KiB

  • اندازه مجموعه داده : 186.01 KiB

  • تقسیمات :

شکاف مثال ها
'train' 46