asqa

  • תיאור :

ASQA הוא מערך המענה הראשון לשאלות ארוך המתמקד בשאלות עובדתיות מעורפלות. בשונה ממערכי נתונים קודמים של תשובות ארוכות, לכל שאלה יש הערות הן בתשובות ארוכות והן בצמדי שאלות ותשובות מחלצות, שעליהם ניתן לענות על ידי הקטע שנוצר. תשובה ארוכת צורה תוערך באמצעות דיוק ROUGE ו-QA כאחד. הראינו כי מדדי הערכה אלו תואמים היטב את השיפוט האנושי. במאגר זה אנו משחררים את מערך הנתונים של ASQA, יחד עם קוד ההערכה: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

לְפַצֵל דוגמאות
'dev' 948
'train' 4,353
  • מבנה תכונה :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=tf.string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=tf.string),
            'wikipage': Text(shape=(), dtype=tf.string),
        }),
        'long_answer': Text(shape=(), dtype=tf.string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=tf.string),
        'question': Text(shape=(), dtype=tf.string),
        'short_answers': Sequence(Text(shape=(), dtype=tf.string)),
        'wikipage': Text(shape=(), dtype=tf.string),
    }),
    'sample_id': tf.int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=tf.string),
        'url': Text(shape=(), dtype=tf.string),
    }),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
שאלה_דו-משמעית טֶקסט tf.string שאלה לא משתמעת מ-AmbigQA.
הערות סדר פעולות תשובות ארוכות לשאלה המעורפלת שנבנו על ידי מפרשי ASQA.
הערות/ידע סדר פעולות רשימת קטעי ידע נוספים.
הערות/ידע/תוכן טֶקסט tf.string קטע מויקיפדיה.
הערות/ידע/וויקיפדיה טֶקסט tf.string כותרת עמוד הוויקיפדיה ממנו נלקח הקטע.
הערות/תשובה_ארוכה טֶקסט tf.string ביאור.
qa_pairs סדר פעולות צמדי שאלות ותשובות מ- AmbigQA המשמשים לביטול דו-משמעיות.
qa_pairs/context טֶקסט tf.string הקשר נוסף מסופק.
qa_pairs/question טֶקסט tf.string
qa_pairs/short_answers רצף (טקסט) (אף אחד,) tf.string רשימת תשובות קצרות מ- AmbigQA.
qa_pairs/wikipage טֶקסט tf.string הכותרת של דף ויקיפדיה שממנו נלקח ההקשר הנוסף.
sample_id מוֹתֵחַ tf.int32
עמודי ויקיפדיה סדר פעולות רשימת דפי ויקיפדיה שבהם ביקרו כותבי AmbigQA.
wikipages/כותרת טֶקסט tf.string כותרת עמוד ויקיפדיה.
wikipages/url טֶקסט tf.string קישור לעמוד ויקיפדיה.
  • ציטוט :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}