düşürmek

  • Açıklama :

Mevcut okuduğunu anlama ölçütlerindeki sistem performansının insan performansına yaklaşması veya geçmesiyle, sistemlerin metnin paragraflarını fiilen okuma yeteneklerini geliştiren yeni, sağlam bir veri kümesine ihtiyacımız var. DROP, bir sistemin bir sorudaki referansları, belki de çoklu girdi konumlarını çözmesi ve bunlar üzerinde ayrık işlemler (toplama, sayma veya sıralama gibi) gerçekleştirmesi gereken, kitle kaynaklı, rakip olarak oluşturulmuş, 96k soruluk bir kıyaslamadır. Bu işlemler, önceki veri kümeleri için gerekli olandan çok daha kapsamlı bir paragraf içeriği anlayışı gerektirir.

Bölmek örnekler
'dev' 9.536
'train' 77.409
  • Özellik yapısı :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
Cevap Metin sicim
geçit Metin sicim
sorgu_kimliği Metin sicim
soru Metin sicim
valided_answers Sıra(Metin) (Hiçbiri,) sicim
  • Alıntı :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}