goutte

  • Descriptif :

Alors que les performances du système sur les benchmarks de compréhension de lecture existants s'approchent ou dépassent les performances humaines, nous avons besoin d'un nouvel ensemble de données solides qui améliore les capacités des systèmes à lire réellement des paragraphes de texte. DROP est un benchmark de 96 000 questions créé de manière participative et contradictoire, dans lequel un système doit résoudre les références d'une question, peut-être à plusieurs positions d'entrée, et effectuer des opérations discrètes sur celles-ci (telles que l'addition, le comptage ou le tri). Ces opérations nécessitent une compréhension beaucoup plus complète du contenu des paragraphes que ce qui était nécessaire pour les ensembles de données antérieurs.

Diviser Exemples
'dev' 9 536
'train' 77 409
  • Structure des fonctionnalités :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Documentation des fonctionnalités :
Caractéristique Classer Forme Dtype La description
FonctionnalitésDict
réponse Texte chaîne de caractères
passage Texte chaîne de caractères
ID_requête Texte chaîne de caractères
question Texte chaîne de caractères
réponses_validées Séquence (texte) (Aucun,) chaîne de caractères
  • Citation :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}