יְרִידָה

• תיאור :

עם ביצועי המערכת על מדדי הבנת הנקרא הקיימים שמתקרבים או עולים על ביצועים אנושיים, אנחנו צריכים מערך נתונים חדש וקשיח שמשפר את היכולות של המערכות לקרוא בפועל פסקאות של טקסט. DROP הוא בנצ'מרק של 96,000 שאלות שנוצרו באופן יריב במקור המונים, שבו מערכת חייבת לפתור הפניות בשאלה, אולי למספר עמדות קלט, ולבצע עליהן פעולות בדידות (כגון הוספה, ספירה או מיון). פעולות אלה דורשות הבנה מקיפה הרבה יותר של התוכן של פסקאות ממה שהיה נחוץ עבור מערכי נתונים קודמים.

• תיעוד נוסף : חקור על ניירות עם קוד north_east

• דף הבית : https://allennlp.org/drop

• קוד מקור : tfds.text.drop.Drop

• גרסאות :

  • 1.0.0 : שחרור ראשוני.
  • 2.0.0 (ברירת מחדל): הוסף את כל האפשרויות עבור התשובות.

• גודל הורדה : 7.92 MiB

• גודל ערכת נתונים: 116.24 MiB

• שמור אוטומטי במטמון ( תיעוד ): כן

• פיצולים :

• מבנה תכונה :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• תיעוד תכונה :

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• דוגמאות ( tfds.as_dataframe ):

• ציטוט :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}