tomber

  • Description:

Avec des performances du système sur les références de compréhension de lecture existantes approchant ou dépassant les performances humaines, nous avons besoin d'un nouvel ensemble de données solides qui améliore les capacités des systèmes à lire réellement des paragraphes de texte. DROP est un benchmark de 96 000 questions, créé de manière contradictoire, dans lequel un système doit résoudre les références d'une question, peut-être à plusieurs positions d'entrée, et effectuer des opérations discrètes sur celles-ci (telles que l'addition, le comptage ou le tri). Ces opérations nécessitent une compréhension beaucoup plus complète du contenu des paragraphes que ce qui était nécessaire pour les jeux de données antérieurs.

  • Page d' accueil: https://allennlp.org/drop

  • Code source: tfds.text.drop.Drop

  • versions:

    • 1.0.0 : version initiale.
    • 2.0.0 (par défaut): Ajouter toutes les options pour les réponses.
  • Taille du téléchargement: 7.92 MiB

  • Dataset Taille: 116.24 MiB

  • Auto-cache ( documentation ): Oui

  • scissions:

Diviser Exemples
'dev' 9 536
'train' 77 409
  • Caractéristiques:
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • citation:
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}