יְרִידָה

• תיאור:

כאשר ביצועי המערכת על מדדי הבנת הנקרא הקיימים מתקרבים או עולים על הביצועים האנושיים, אנו זקוקים למערך נתונים חדש וקשה המשפר את יכולות המערכות לקריאת פסקאות טקסט בפועל. DROP הוא מקדם-מידה, שנוצר באופן נגדי ובו 96 אלף שאלות, שבו מערכת חייבת לפתור הפניות בשאלה, אולי למספר עמדות קלט, ולבצע פעולות נפרדות מעליהן (כגון הוספה, ספירה או מיון). פעולות אלה דורשות הבנה מקיפה הרבה יותר של תוכן הפסקאות ממה שהיה נחוץ למערכות נתונים קודמות.

• דף הבית: https://allennlp.org/drop

• קוד מקור: tfds.text.drop.Drop

• גרסאות:

  • 1.0.0 : גרסה ראשונית.
  • 2.0.0 (ברירת המחדל): להוסיף כל האופציות על התשובות.

• גודל ההורדה: 7.92 MiB

• מערך נתונים גודל: 116.24 MiB

• Auto-במטמון ( תיעוד ): כן

• פיצולים:

• מאפיינים:

FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})

• מפתחות השגחה (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• דוגמאות ( tfds.as_dataframe ):

• ציטוט:

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}