- תיאור :
המשימה המשותפת של MRQA 2019 מתמקדת בהכללה בתשובה לשאלה. מערכת אפקטיבית למענה לשאלות צריכה לעשות יותר מסתם אינטרפולציה ממערך ההדרכה כדי לענות על דוגמאות מבחנים שנלקחו מאותה התפלגות: היא צריכה להיות מסוגלת גם להעלות דוגמאות מחוץ להפצה - אתגר קשה משמעותית.
MRQA מתאים ומאחד מערכי נתונים מרובים של תשובות לשאלות (קבוצות משנה שנבחרו בקפידה של מערכי נתונים קיימים) לאותו פורמט (פורמט SQuAD). ביניהם, שישה מערכי נתונים הועמדו לרשותם להדרכה, ושישה מערכי נתונים הועמדו לרשותם לבדיקה. חלקים קטנים ממערכי הנתונים של ההדרכה הוחזקו כנתונים בתחום העשויים לשמש לפיתוח. מערכי הנתונים של הבדיקה מכילים רק נתונים מחוץ לדומיין. אמת מידה זה פורסם כחלק מהמשימה המשותפת של MRQA 2019.
מידע נוסף ניתן למצוא בכתובת: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a>
.
תיעוד נוסף : חקור על ניירות עם קוד
דף הבית : https://mrqa.github.io/2019/shared.html
קוד מקור :
tfds.text.mrqa.MRQA
גרסאות :
-
1.0.0
(ברירת מחדל): שחרור ראשוני.
-
מבנה תכונה :
FeaturesDict({
'answers': Sequence(string),
'context': string,
'context_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'detected_answers': Sequence({
'char_spans': Sequence({
'end': int32,
'start': int32,
}),
'text': string,
'token_spans': Sequence({
'end': int32,
'start': int32,
}),
}),
'qid': string,
'question': string,
'question_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'subset': string,
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
תשובות | רצף (טנזור) | (אף אחד,) | חוּט | |
הֶקשֵׁר | מוֹתֵחַ | חוּט | ||
context_tokens | סדר פעולות | |||
context_tokens/offsets | מוֹתֵחַ | int32 | ||
context_tokens/tokens | מוֹתֵחַ | חוּט | ||
זוהו_תשובות | סדר פעולות | |||
detected_answers/char_spans | סדר פעולות | |||
detected_answers/char_spans/end | מוֹתֵחַ | int32 | ||
detected_answers/char_spans/start | מוֹתֵחַ | int32 | ||
detected_answers/text | מוֹתֵחַ | חוּט | ||
detected_answers/token_spans | סדר פעולות | |||
detected_answers/token_spans/end | מוֹתֵחַ | int32 | ||
detected_answers/token_spans/start | מוֹתֵחַ | int32 | ||
qid | מוֹתֵחַ | חוּט | ||
שְׁאֵלָה | מוֹתֵחַ | חוּט | ||
אסימוני שאלה | סדר פעולות | |||
אסימון_שאלות/קיזוזים | מוֹתֵחַ | int32 | ||
שאלה_אסימונים/אסימונים | מוֹתֵחַ | חוּט | ||
תת-קבוצה | מוֹתֵחַ | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):None
איור ( tfds.show_examples ): לא נתמך.
mrqa/squad (תצורת ברירת המחדל)
תיאור תצורה : מערך הנתונים של SQuAD (Stanford Question Answering Dataset) משמש כבסיס לפורמט המשימה המשותפת. עובדי ההמונים מוצגים פסקאות מויקיפדיה ומתבקשים לכתוב שאלות עם תשובות מוצקות.
גודל הורדה :
29.66 MiB
גודל מערך נתונים :
271.43 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 86,588 |
'validation' | 10,507 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{rajpurkar-etal-2016-squad,
title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
author = "Rajpurkar, Pranav and
Zhang, Jian and
Lopyrev, Konstantin and
Liang, Percy",
booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2016",
address = "Austin, Texas",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D16-1264",
doi = "10.18653/v1/D16-1264",
pages = "2383--2392",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/news_qa
תיאור תצורה : שתי קבוצות של עובדי המונים שואלים ועונים על שאלות על סמך מאמרי חדשות של CNN. ה"שואלים" רואים רק את כותרת המאמר ואת תקצירו ואילו ה"עונים" רואים את המאמר המלא. שאלות שאין להן תשובה או שהן מסומנות במערך הנתונים כחסרות הסכמה של הערים נמחקות.
גודל הורדה :
56.83 MiB
גודל ערכת נתונים:
654.25 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 74,160 |
'validation' | 4,212 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{trischler-etal-2017-newsqa,
title = "{N}ews{QA}: A Machine Comprehension Dataset",
author = "Trischler, Adam and
Wang, Tong and
Yuan, Xingdi and
Harris, Justin and
Sordoni, Alessandro and
Bachman, Philip and
Suleman, Kaheer",
booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-2623",
doi = "10.18653/v1/W17-2623",
pages = "191--200",
}
#
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/trivia_qa
תיאור תצורה : צמדי שאלות ותשובות מקורם מאתרי טריוויה וחידונים. נעשה שימוש בגרסת האינטרנט של TriviaQA, שבה ההקשרים מאוחזרים מתוצאות שאילתת חיפוש בינג.
גודל הורדה :
383.14 MiB
גודל ערכת נתונים:
772.75 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 61,688 |
'validation' | 7,785 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{joshi-etal-2017-triviaqa,
title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
author = "Joshi, Mandar and
Choi, Eunsol and
Weld, Daniel and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P17-1147",
doi = "10.18653/v1/P17-1147",
pages = "1601--1611",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/search_qa
תיאור תצורה : צמדי שאלות ותשובות מקורם ב-Jeopardy! תוכנית טלוויזיה. ההקשרים מורכבים מקטעים שאוחזרו משאילתת חיפוש של Google.
גודל הורדה :
699.86 MiB
גודל מערך נתונים :
1.38 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 117,384 |
'validation' | 16,980 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@article{dunn2017searchqa,
title={Searchqa: A new q\&a dataset augmented with context from a search engine},
author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
journal={arXiv preprint arXiv:1704.05179},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/hotpot_qa
תיאור תצורה : עובדי Crowdworks מוצגים שתי פסקאות מקושרות לישות מויקיפדיה ומתבקשים לכתוב ולענות על שאלות שדורשות היגיון רב-הופ לפתרון. בהגדרה המקורית, פסקאות אלו מעורבבות עם פסקאות מסיחות דעת נוספות כדי להקשות על מסקנות. כאן, פסקאות המסיחים אינן כלולות.
גודל הורדה :
111.98 MiB
גודל ערכת נתונים:
272.87 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 72,928 |
'validation' | 5,901 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{yang-etal-2018-hotpotqa,
title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
author = "Yang, Zhilin and
Qi, Peng and
Zhang, Saizheng and
Bengio, Yoshua and
Cohen, William and
Salakhutdinov, Ruslan and
Manning, Christopher D.",
booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
month = oct # "-" # nov,
year = "2018",
address = "Brussels, Belgium",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D18-1259",
doi = "10.18653/v1/D18-1259",
pages = "2369--2380",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/natural_questions
תיאור תצורה : שאלות נאספות משאילתות חיפוש מידע למנוע החיפוש של Google על ידי משתמשים אמיתיים בתנאים טבעיים. התשובות לשאלות מסומנות בדף ויקיפדיה שאוחזר על ידי עובדי המונים. נאספים שני סוגים של הערות: 1) התיבה התוחמת של HTML המכילה מספיק מידע כדי להסיק לחלוטין את התשובה לשאלה (תשובה ארוכה), ו-2) תת-טווח או תת-טווחים בתוך התיבה התוחמת שמרכיבים את התשובה בפועל (תשובה קצרה ). משתמשים רק בדוגמאות שיש להן תשובות קצרות, והתשובה הארוכה משמשת כהקשר.
גודל הורדה :
121.15 MiB
גודל מערך נתונים :
339.03 MiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 104,071 |
'validation' | 12,836 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@article{kwiatkowski-etal-2019-natural,
title = "Natural Questions: A Benchmark for Question Answering Research",
author = "Kwiatkowski, Tom and
Palomaki, Jennimaria and
Redfield, Olivia and
Collins, Michael and
Parikh, Ankur and
Alberti, Chris and
Epstein, Danielle and
Polosukhin, Illia and
Devlin, Jacob and
Lee, Kenton and
Toutanova, Kristina and
Jones, Llion and
Kelcey, Matthew and
Chang, Ming-Wei and
Dai, Andrew M. and
Uszkoreit, Jakob and
Le, Quoc and
Petrov, Slav",
journal = "Transactions of the Association for Computational Linguistics",
volume = "7",
year = "2019",
address = "Cambridge, MA",
publisher = "MIT Press",
url = "https://aclanthology.org/Q19-1026",
doi = "10.1162/tacl_a_00276",
pages = "452--466",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/bio_asq
תיאור תצורה : BioASQ, אתגר בנושא אינדקס סמנטי ביו-רפואי בקנה מידה גדול ומענה לשאלות, מכיל צמדי שאלות ותשובות שנוצרו על ידי מומחי תחום. לאחר מכן הם מקושרים ידנית למספר מאמרים מדעיים קשורים (PubMed). התקציר המלא של כל אחד מהמאמרים המקושרים מוורד ומשמש כהקשרים בודדים (למשל, ניתן לקשר שאלה בודדת למספר מאמרים עצמאיים כדי ליצור צמדי QA-קונטקסט מרובים). תקצירים שאינם מכילים בדיוק את התשובה נמחקים.
גודל הורדה :
2.54 MiB
גודל מערך נתונים :
6.70 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 1,504 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@article{tsatsaronis2015overview,
title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
journal={BMC bioinformatics},
volume={16},
number={1},
pages={1--28},
year={2015},
publisher={Springer}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/drop
תיאור תצורה : DROP (נימוק דיסקרטי על התוכן של פסקאות) נאספו בדומה ל-SQuAD, שם מתבקשים עובדי המונים ליצור צמדי שאלות ותשובות מפסקאות ויקיפדיה. השאלות מתמקדות בהנמקה כמותית, ומערך הנתונים המקורי מכיל תשובות מספריות לא מחלצות כמו גם תשובות טקסט מחלצות. נעשה שימוש במערך השאלות שהן מחלצות.
גודל הורדה :
578.25 KiB
גודל ערכת נתונים :
5.41 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 1,503 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{dua-etal-2019-drop,
title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
author = "Dua, Dheeru and
Wang, Yizhong and
Dasigi, Pradeep and
Stanovsky, Gabriel and
Singh, Sameer and
Gardner, Matt",
booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
month = jun,
year = "2019",
address = "Minneapolis, Minnesota",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/N19-1246",
doi = "10.18653/v1/N19-1246",
pages = "2368--2378",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/duo_rc
תיאור תצורה : נעשה שימוש בפיצול ParaphraseRC של מערך הנתונים של DuoRC. במסגרת זו נאספים שני סיכומי עלילה שונים של אותו סרט - האחד מויקיפדיה והשני מ-IMDb. שני סטים שונים של עובדי המונים שואלים ועונים על שאלות על עלילת הסרט, כאשר ה"שואלים" מוצגים רק בדף ויקיפדיה, וה"משיבים" מוצגים רק בעמוד ה-IMDb. שאלות המסומנות כבלתי ניתנות לתשובה נמחקות.
גודל הורדה :
1.14 MiB
גודל מערך נתונים :
15.04 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 1,501 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{saha-etal-2018-duorc,
title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
author = "Saha, Amrita and
Aralikatte, Rahul and
Khapra, Mitesh M. and
Sankaranarayanan, Karthik",
booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2018",
address = "Melbourne, Australia",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P18-1156",
doi = "10.18653/v1/P18-1156",
pages = "1683--1693",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
מרקה/מרוץ
תיאור תצורה : מערך נתונים של הבנת הנקרא מבחינות (RACE) נאסף מבחינות הבנת הנקרא באנגלית עבור תלמידי חטיבות ביניים ותיכון סיניים. נעשה שימוש בחלוקת התיכון (שהיא יותר מאתגרת) וגם השאלות המרומזות בסגנון "מלא את החסר" (שהן לא טבעיות למשימה זו) מסוננות החוצה.
גודל הורדה :
1.49 MiB
גודל מערך נתונים :
3.53 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 674 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{lai-etal-2017-race,
title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
author = "Lai, Guokun and
Xie, Qizhe and
Liu, Hanxiao and
Yang, Yiming and
Hovy, Eduard",
booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
month = sep,
year = "2017",
address = "Copenhagen, Denmark",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D17-1082",
doi = "10.18653/v1/D17-1082",
pages = "785--794",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/relation_extraction
תיאור תצורה : בהינתן מערך נתונים למילוי משבצות, היחסים בין ישויות עוברים טרנספורמציה שיטתית לצמדי תשובות לשאלות באמצעות תבניות. לדוגמה, ניתן לבטא את הקשר educated_at(x, y) בין שתי ישויות x ו-y המופיעות במשפט כ"היכן חונך x?" עם תשובה y. תבניות מרובות עבור כל סוג קשר נאספות. נעשה שימוש בפיצול האפס של מערך הנתונים (הכללה ליחסים בלתי נראים), ורק הדוגמאות החיוביות נשמרות.
גודל הורדה :
830.88 KiB
גודל מערך נתונים :
3.71 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 2,948 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{levy-etal-2017-zero,
title = "Zero-Shot Relation Extraction via Reading Comprehension",
author = "Levy, Omer and
Seo, Minjoon and
Choi, Eunsol and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/K17-1034",
doi = "10.18653/v1/K17-1034",
pages = "333--342",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/textbook_qa
תיאור תצורה : ספרי לימוד QA נאספים משיעורים מספרי הלימוד של מדעי החיים, מדעי כדור הארץ ומדעי הפיזיקה בחטיבת הביניים. שאלות המלוות בתרשים, או שאלות "נכון או לא נכון" אינן כלולות.
גודל הורדה :
1.79 MiB
גודל ערכת נתונים:
14.04 MiB
שמור אוטומטי במטמון ( תיעוד ): כן
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 1,503 |
- דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{kembhavi2017you,
title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
pages={4999--5007},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."