Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

penurunan

  • Deskripsi :

Dengan kinerja sistem pada tolok ukur pemahaman bacaan yang ada yang mendekati atau melampaui kinerja manusia, kami memerlukan kumpulan data baru dan keras yang meningkatkan kemampuan sistem untuk benar-benar membaca paragraf teks. DROP adalah benchmark pertanyaan 96k yang dibuat secara crowdsourced, dibuat secara berlawanan, di mana sistem harus menyelesaikan referensi dalam sebuah pertanyaan, mungkin ke beberapa posisi input, dan melakukan operasi terpisah atas mereka (seperti penambahan, penghitungan, atau pengurutan). Operasi ini membutuhkan pemahaman yang jauh lebih komprehensif tentang isi paragraf daripada yang diperlukan untuk kumpulan data sebelumnya.

Membagi Contoh
'dev' 9.536
'train' 77.409
  • Fitur :
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}