एमएल समुदाय दिवस 9 नवंबर है! TensorFlow, JAX से नई जानकारी के लिए हमसे जुड़ें, और अधिक जानें

ड्रॉप

  • विवरण:

मौजूदा रीडिंग कॉम्प्रिहेंशन बेंचमार्क पर सिस्टम के प्रदर्शन के साथ मानव प्रदर्शन के करीब या उससे आगे निकलने के लिए, हमें एक नए, हार्ड डेटासेट की आवश्यकता है जो वास्तव में टेक्स्ट के पैराग्राफ को पढ़ने के लिए सिस्टम की क्षमताओं को बेहतर बनाता है। DROP एक भीड़-भाड़ वाला, प्रतिकूल रूप से बनाया गया, 96k- प्रश्न बेंचमार्क है, जिसमें एक सिस्टम को एक प्रश्न में संदर्भों को हल करना चाहिए, शायद कई इनपुट स्थितियों के लिए, और उन पर असतत संचालन करना चाहिए (जैसे कि जोड़, गिनती या छँटाई)। इन कार्यों के लिए पहले के डेटासेट के लिए जो आवश्यक था, उसकी तुलना में पैराग्राफ की सामग्री की अधिक व्यापक समझ की आवश्यकता होती है।

  • होमपेज: https://allennlp.org/drop

  • स्रोत कोड: tfds.text.drop.Drop

  • संस्करण:

    • 1.0.0 : प्रारंभिक रिलीज़।
    • 2.0.0 (डिफ़ॉल्ट): जवाब के लिए सभी विकल्प जोड़ें।
  • डाउनलोड का आकार: 7.92 MiB

  • डेटासेट का आकार: 116.24 MiB

  • ऑटो-कैश ( प्रलेखन ): हाँ

  • विभाजन:

विभाजित करना उदाहरण
'dev' ९,५३६
'train' 77,409
  • विशेषताएं:
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • प्रशस्ति पत्र:
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}