qa4mre

  • תיאור :

מערך הנתונים של QA4MRE נוצר עבור המשימות המשותפות של CLEF 2011/2012/2013 כדי לקדם מחקר בנושא תשובות לשאלות והבנת הנקרא. מערך הנתונים מכיל קטע תומך וקבוצת שאלות התואמות לקטע. לכל שאלה ניתנות מספר אפשרויות לתשובות, שרק אחת מהן נכונה. מערכי ההדרכה והבדיקות זמינים עבור המסלול הראשי. מסמכי תקן זהב נוספים זמינים עבור שני מחקרי פיילוט: האחד על נתוני אלצהיימר והשני על נתוני מבחני כניסה.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=tf.string),
        'answer_str': Text(shape=(), dtype=tf.string),
    }),
    'correct_answer_id': Text(shape=(), dtype=tf.string),
    'correct_answer_str': Text(shape=(), dtype=tf.string),
    'document_id': Text(shape=(), dtype=tf.string),
    'document_str': Text(shape=(), dtype=tf.string),
    'question_id': Text(shape=(), dtype=tf.string),
    'question_str': Text(shape=(), dtype=tf.string),
    'test_id': Text(shape=(), dtype=tf.string),
    'topic_id': Text(shape=(), dtype=tf.string),
    'topic_name': Text(shape=(), dtype=tf.string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
answer_options סדר פעולות
answer_options/answer_id טֶקסט tf.string
answer_options/answer_str טֶקסט tf.string
מזהה_תשובה_נכונה טֶקסט tf.string
correct_answer_str טֶקסט tf.string
document_id טֶקסט tf.string
document_str טֶקסט tf.string
מזהה_שאלה טֶקסט tf.string
question_str טֶקסט tf.string
test_id טֶקסט tf.string
topic_id טֶקסט tf.string
topic_name טֶקסט tf.string
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (תצורת ברירת המחדל)

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת DE בשנת 2011.

  • גודל מערך נתונים : 1.69 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 120

qa4mre/2011.main.EN

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת EN בשנת 2011.

  • גודל מערך נתונים : 1.52 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 120

qa4mre/2011.main.ES

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת ES בשנת 2011.

  • גודל מערך נתונים : 1.64 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 120

qa4mre/2011.main.IT

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת IT בשנת 2011.

  • גודל ערכת נתונים : 1.61 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 120

qa4mre/2011.main.RO

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת RO בשנת 2011.

  • גודל מערך נתונים : 1.68 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 120

qa4mre/2012.main.AR

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת AR בשנת 2012.

  • גודל ערכת נתונים : 2.62 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.BG

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת BG בשנת 2012.

  • גודל ערכת נתונים : 3.33 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.DE

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת DE בשנת 2012.

  • גודל מערך נתונים : 2.02 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.EN

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת EN בשנת 2012.

  • גודל מערך נתונים : 1.71 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.ES

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת ES בשנת 2012.

  • גודל מערך נתונים : 1.99 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.IT

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת IT בשנת 2012.

  • גודל מערך נתונים : 2.01 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.main.RO

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת RO בשנת 2012.

  • גודל מערך נתונים : 2.01 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 160

qa4mre/2012.alzheimers.EN

  • תיאור תצורה : תצורה זו כוללת את מסלול אלצהיימר לשפת EN בשנת 2012.

  • גודל מערך נתונים : 1.57 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 40

qa4mre/2013.main.AR

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת AR בשנת 2013.

  • גודל מערך נתונים : 4.04 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 284

qa4mre/2013.main.BG

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת BG בשנת 2013.

  • גודל מערך נתונים : 5.21 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 284

qa4mre/2013.main.EN

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת EN בשנת 2013.

  • גודל ערכת נתונים : 2.81 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 284

qa4mre/2013.main.ES

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת ES בשנת 2013.

  • גודל מערך נתונים : 3.35 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 284

qa4mre/2013.main.RO

  • תיאור תצורה : תצורה זו כוללת את המסלול הראשי לשפת RO בשנת 2013.

  • גודל ערכת נתונים : 3.26 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 284

qa4mre/2013.alzheimers.EN

  • תיאור תצורה : תצורה זו כוללת את מסלול אלצהיימר לשפת EN בשנת 2013.

  • גודל מערך נתונים : 2.50 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 40

qa4mre/2013.entrance_exam.EN

  • תיאור תצורה : תצורה זו כוללת את מסלול הבחינה_כניסה לשפת EN בשנת 2013.

  • גודל מערך נתונים : 186.01 KiB

  • פיצולים :

לְפַצֵל דוגמאות
'train' 46