बूंद

  • विवरण :

रीडिंग कॉम्प्रिहेंशन बेंचमार्क पर सिस्टम के प्रदर्शन के साथ मानव प्रदर्शन के करीब या उससे आगे निकल जाने के साथ, हमें एक नए, हार्ड डेटासेट की आवश्यकता है जो वास्तव में पाठ के पैराग्राफ को पढ़ने के लिए सिस्टम की क्षमताओं में सुधार करता है। DROP एक क्राउडसोर्स्ड, प्रतिकूल रूप से निर्मित, 96k-प्रश्न बेंचमार्क है, जिसमें एक सिस्टम को एक प्रश्न में संदर्भों को हल करना चाहिए, शायद कई इनपुट स्थितियों के लिए, और उन पर असतत संचालन करना चाहिए (जैसे कि जोड़ना, गिनना या छांटना)। इन परिचालनों के लिए पिछले डेटासेट के लिए जरूरी समझ की तुलना में पैराग्राफ की सामग्री की अधिक व्यापक समझ की आवश्यकता होती है।

विभाजित करना उदाहरण
'dev' 9,536
'train' 77,409
  • फ़ीचर संरचना :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीटाइप विवरण
विशेषताएं डिक्ट
उत्तर मूलपाठ डोरी
रास्ता मूलपाठ डोरी
query_id मूलपाठ डोरी
प्रश्न मूलपाठ डोरी
Validated_answers अनुक्रम (पाठ) (कोई भी नहीं,) डोरी
  • उद्धरण :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}