מרקה

  • תיאור :

המשימה המשותפת של MRQA 2019 מתמקדת בהכללה בתשובה לשאלה. מערכת אפקטיבית למענה לשאלות צריכה לעשות יותר מסתם אינטרפולציה ממערך ההכשרה כדי לענות על דוגמאות מבחנים שנלקחו מאותה התפלגות: היא צריכה להיות מסוגלת גם לבצע אקסטרפולציה לדוגמאות מחוץ להפצה - אתגר קשה משמעותית.

MRQA מתאימה ומאחדת מערכי נתונים מרובים של תשובות לשאלות (קבוצות משנה שנבחרו בקפידה של מערכי נתונים קיימים) לאותו פורמט (פורמט SQuAD). ביניהם, שישה מערכי נתונים הועמדו לרשותם להדרכה, ושישה מערכי נתונים הועמדו לרשותם לבדיקה. חלקים קטנים ממערכי הנתונים של ההדרכה הוחזקו כנתונים בתחום העשויים לשמש לפיתוח. מערכי הנתונים של הבדיקה מכילים רק נתונים מחוץ לדומיין. אמת מידה זה שוחרר כחלק מהמשימה המשותפת של MRQA 2019.

מידע נוסף ניתן למצוא בכתובת: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

FeaturesDict({
    'answers': Sequence(tf.string),
    'context': tf.string,
    'context_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
        'text': tf.string,
        'token_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
    }),
    'qid': tf.string,
    'question': tf.string,
    'question_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'subset': tf.string,
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
תשובות רצף (טנזור) (אף אחד,) tf.string
הֶקשֵׁר מוֹתֵחַ tf.string
context_tokens סדר פעולות
context_tokens/offsets מוֹתֵחַ tf.int32
context_tokens/tokens מוֹתֵחַ tf.string
זוהו_תשובות סדר פעולות
detected_answers/char_spans סדר פעולות
detected_answers/char_spans/end מוֹתֵחַ tf.int32
detected_answers/char_spans/start מוֹתֵחַ tf.int32
detected_answers/text מוֹתֵחַ tf.string
detected_answers/token_spans סדר פעולות
detected_answers/token_spans/end מוֹתֵחַ tf.int32
detected_answers/token_spans/start מוֹתֵחַ tf.int32
qid מוֹתֵחַ tf.string
שְׁאֵלָה מוֹתֵחַ tf.string
אסימוני שאלה סדר פעולות
אסימון_שאלות/קיזוזים מוֹתֵחַ tf.int32
שאלה_אסימונים/אסימונים מוֹתֵחַ tf.string
תת-קבוצה מוֹתֵחַ tf.string

mrqa/squad (תצורת ברירת המחדל)

  • תיאור תצורה : מערך הנתונים של SQuAD (Stanford Question Answering Dataset) משמש כבסיס לפורמט המשימה המשותפת. לעובדי ההמונים מוצגים פסקאות מויקיפדיה ומתבקשים לכתוב שאלות עם תשובות מושכות.

  • גודל הורדה : 29.66 MiB

  • גודל ערכת נתונים: 271.43 MiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 86,588
'validation' 10,507
  • ציטוט :
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/news_qa

  • תיאור תצורה : שתי קבוצות של עובדי המונים שואלים ועונים על שאלות על סמך מאמרי חדשות של CNN. ה"שואלים" רואים רק את כותרת המאמר ואת תקצירו ואילו ה"עונים" רואים את המאמר המלא. שאלות שאין להן תשובה או שסומנו במערך הנתונים כחסרות הסכמה של הערים נמחקות.

  • גודל הורדה : 56.83 MiB

  • גודל מערך נתונים : 654.25 MiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 74,160
'validation' 4,212
  • ציטוט :
@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/trivia_qa

  • תיאור תצורה : צמדי שאלות ותשובות מקורם מאתרי טריוויה וחידונים. נעשה שימוש בגרסת האינטרנט של TriviaQA, שבה ההקשרים מאוחזרים מתוצאות שאילתת חיפוש Bing.

  • גודל הורדה : 383.14 MiB

  • גודל ערכת נתונים: 772.75 MiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 61,688
'validation' 7,785
  • ציטוט :
@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/search_qa

  • תיאור תצורה : צמדי שאלות ותשובות מקורם ב-Jeopardy! תוכנית טלוויזיה. ההקשרים מורכבים מקטעים שאוחזרו משאילתת חיפוש בגוגל.

  • גודל הורדה : 699.86 MiB

  • גודל מערך נתונים : 1.38 GiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 117,384
'validation' 16,980
  • ציטוט :
@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/hotpot_qa

  • תיאור תצורה : עובדי Crowdworks מוצגים שתי פסקאות מקושרות לישות מויקיפדיה ומתבקשים לכתוב ולענות על שאלות שדורשות היגיון רב-הופ לפתרון. בהגדרה המקורית, פסקאות אלו מעורבבות עם פסקאות מסיחות דעת נוספות כדי להקשות על מסקנות. כאן, פסקאות המסיחים אינן כלולות.

  • גודל הורדה : 111.98 MiB

  • גודל מערך נתונים : 272.87 MiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 72,928
'validation' 5,901
  • ציטוט :
@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/natural_questions

  • תיאור תצורה : שאלות נאספות משאילתות חיפוש מידע למנוע החיפוש של Google על ידי משתמשים אמיתיים בתנאים טבעיים. התשובות לשאלות מסומנות בדף ויקיפדיה שאוחזר על ידי עובדי המונים. נאספים שני סוגים של הערות: 1) התיבה התוחמת של HTML המכילה מספיק מידע כדי להסיק לחלוטין את התשובה לשאלה (תשובה ארוכה), ו-2) תת-הטווח או תת-הטווחים בתוך התיבה התוחמת שמרכיבים את התשובה בפועל (תשובה קצרה). ). משתמשים רק בדוגמאות שיש להן תשובות קצרות, והתשובה הארוכה משמשת כהקשר.

  • גודל הורדה : 121.15 MiB

  • גודל ערכת נתונים: 339.03 MiB

  • שמור אוטומטי במטמון ( תיעוד ): לא

  • פיצולים :

לְפַצֵל דוגמאות
'train' 104,071
'validation' 12,836
  • ציטוט :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/bio_asq

  • תיאור תצורה : BioASQ, אתגר בנושא אינדקס סמנטי ביו-רפואי בקנה מידה גדול ומענה לשאלות, מכיל צמדי שאלות ותשובות שנוצרו על ידי מומחי תחום. לאחר מכן הם מקושרים ידנית למספר מאמרים מדעיים קשורים (PubMed). התקציר המלא של כל אחד מהמאמרים המקושרים מורד ומשמש כהקשרים בודדים (למשל, ניתן לקשר שאלה בודדת למספר מאמרים עצמאיים כדי ליצור צמדי QA-קונטקסט מרובים). תקצירים שאינם מכילים בדיוק את התשובה נמחקים.

  • גודל הורדה : 2.54 MiB

  • גודל מערך נתונים : 6.70 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 1,504
  • ציטוט :
@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/drop

  • תיאור תצורה : DROP (נימוק דיסקרטי על התוכן של פסקאות) נאספו בדומה ל-SQuAD, שם מתבקשים עובדי המונים ליצור צמדי שאלות ותשובות מפסקאות ויקיפדיה. השאלות מתמקדות בהנמקה כמותית, ומערך הנתונים המקורי מכיל תשובות מספריות לא מחלצות כמו גם תשובות טקסט מחלצות. נעשה שימוש בסט השאלות שהן מחלצות.

  • גודל הורדה : 578.25 KiB

  • גודל מערך נתונים : 5.41 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 1,503
  • ציטוט :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/duo_rc

  • תיאור תצורה : נעשה שימוש בפיצול ParaphraseRC של מערך הנתונים של DuoRC. במסגרת זו נאספים שני סיכומי עלילה שונים של אותו סרט - האחד מויקיפדיה והשני מ-IMDb. שני סטים שונים של עובדי המונים שואלים ועונים על שאלות על עלילת הסרט, כאשר ה"שואלים" מוצגים רק בדף ויקיפדיה, וה"משיבים" מוצגים רק בעמוד ה-IMDb. שאלות המסומנות כבלתי ניתנות לתשובה נמחקות.

  • גודל הורדה : 1.14 MiB

  • גודל מערך נתונים : 15.04 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 1,501
  • ציטוט :
@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

מרקה/מרוץ

  • תיאור תצורה : מערך נתונים של הבנת הנקרא מבחינות (RACE) נאסף מבחינות הבנת הנקרא באנגלית עבור תלמידי חטיבות ביניים ותיכון סיניים. נעשה שימוש בחלוקת התיכון (שהיא יותר מאתגרת) וגם השאלות המרומזות בסגנון "מלא את החסר" (שהן לא טבעיות למשימה זו) מסוננות החוצה.

  • גודל הורדה : 1.49 MiB

  • גודל ערכת נתונים : 3.53 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 674
  • ציטוט :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/relation_extraction

  • תיאור תצורה : בהינתן מערך נתונים למילוי משבצות, היחסים בין ישויות עוברים טרנספורמציה שיטתית לצמדי תשובות לשאלות באמצעות תבניות. לדוגמה, ניתן לבטא את הקשר educated_at(x, y) בין שתי ישויות x ו-y המופיעות במשפט כ"היכן חונך x?" עם תשובה y. נאספות תבניות מרובות עבור כל סוג קשר. נעשה שימוש בפיצול האפס של מערך הנתונים (הכללה ליחסים בלתי נראים), ורק הדוגמאות החיוביות נשמרות.

  • גודל הורדה : 830.88 KiB

  • גודל מערך נתונים : 3.71 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 2,948
  • ציטוט :
@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/textbook_qa

  • תיאור תצורה : TextbookQA נאסף משיעורים מספרי הלימוד של מדעי החיים, מדעי כדור הארץ ומדעי הפיזיקה בחטיבת הביניים. שאלות המלוות בתרשים, או שאלות "נכון או לא נכון" אינן כלולות.

  • גודל הורדה : 1.79 MiB

  • גודל מערך נתונים : 14.04 MiB

  • שמור אוטומטי במטמון ( תיעוד ): כן

  • פיצולים :

לְפַצֵל דוגמאות
'test' 1,503
  • ציטוט :
@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."