düşürmek

  • Açıklama:

İnsan performansına yaklaşan veya onu aşan mevcut okuduğunu anlama kıyaslamalarındaki sistem performansıyla, sistemlerin gerçekten metin paragraflarını okuma yeteneklerini geliştiren yeni, sağlam bir veri kümesine ihtiyacımız var. DROP, bir sistemin bir sorudaki referansları, belki de birden fazla giriş konumuna çözümlemesi ve bunlar üzerinde ayrı işlemler (toplama, sayma veya sıralama gibi) gerçekleştirmesi gereken, kitle kaynaklı, düşmanca oluşturulmuş, 96 bin soruluk bir kıyaslamadır. Bu işlemler, önceki veri kümeleri için gerekli olandan çok daha kapsamlı bir paragraf içeriği anlayışı gerektirir.

Bölmek Örnekler
'dev' 9.536
'train' 77.409
  • Özellikler:
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • Citation:
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}