יְרִידָה

  • תיאור :

עם ביצועי המערכת על מדדי הבנת הנקרא הקיימים שמתקרבים או עולים על ביצועים אנושיים, אנחנו צריכים מערך נתונים חדש וקשיח שמשפר את היכולות של המערכות לקרוא בפועל פסקאות של טקסט. DROP הוא בנצ'מרק של 96,000 שאלות שנוצרו באופן יריב במקור המונים, שבו מערכת חייבת לפתור הפניות בשאלה, אולי למספר עמדות קלט, ולבצע עליהן פעולות בדידות (כגון הוספה, ספירה או מיון). פעולות אלה דורשות הבנה מקיפה הרבה יותר של התוכן של פסקאות ממה שהיה נחוץ עבור מערכי נתונים קודמים.

לְפַצֵל דוגמאות
'dev' 9,536
'train' 77,409
  • מבנה תכונה :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
תשובה טֶקסט חוּט
מַעֲבָר טֶקסט חוּט
query_id טֶקסט חוּט
שְׁאֵלָה טֶקסט חוּט
תשובות מאומתות רצף (טקסט) (אף אחד,) חוּט
  • ציטוט :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}