menjatuhkan

  • Deskripsi :

Dengan kinerja sistem pada tolok ukur pemahaman bacaan yang mendekati atau melampaui kinerja manusia, kami memerlukan kumpulan data baru dan keras yang meningkatkan kemampuan sistem untuk benar-benar membaca paragraf teks. DROP adalah tolok ukur 96k pertanyaan yang dibuat secara crowdsourced, dibuat secara bermusuhan, di mana sistem harus menyelesaikan referensi dalam sebuah pertanyaan, mungkin ke beberapa posisi input, dan melakukan operasi diskrit terhadapnya (seperti penambahan, penghitungan, atau penyortiran). Operasi ini membutuhkan pemahaman yang jauh lebih komprehensif tentang isi paragraf daripada yang diperlukan untuk kumpulan data sebelumnya.

Membelah Contoh
'dev' 9.536
'train' 77.409
  • Struktur fitur :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Dtype Keterangan
fiturDict
menjawab Teks rangkaian
jalan Teks rangkaian
query_id Teks rangkaian
pertanyaan Teks rangkaian
divalidasi_jawaban Urutan (Teks) (Tidak ada,) rangkaian
  • Kutipan :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}