derrubar

• Descrição :

Com o desempenho do sistema em benchmarks de compreensão de leitura existentes se aproximando ou superando o desempenho humano, precisamos de um novo conjunto de dados rígido que melhore as capacidades dos sistemas para realmente ler parágrafos de texto. O DROP é um benchmark de 96 mil perguntas criado por adversários, no qual um sistema deve resolver referências em uma pergunta, talvez para várias posições de entrada, e executar operações discretas sobre elas (como adição, contagem ou classificação). Essas operações exigem uma compreensão muito mais abrangente do conteúdo dos parágrafos do que o necessário para conjuntos de dados anteriores.

• Documentação Adicional : Explore em Papers With Code north_east

• Página inicial : https://allennlp.org/drop

• Código -fonte: tfds.text.drop.Drop

• Versões :

  • 1.0.0 : versão inicial.
  • 2.0.0 (padrão): Adicione todas as opções para as respostas.

• Tamanho do download : 7.92 MiB

• Tamanho do conjunto de dados : 116.24 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Estrutura de recursos :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}