resposta_equivalência

• Descrição :

O conjunto de dados de equivalência de resposta contém classificações humanas em previsões de modelo de vários modelos no conjunto de dados SQuAD. As avaliações estabelecem se a resposta prevista é 'equivalente' à resposta de ouro (levando em consideração a pergunta e o contexto).

Mais especificamente, por 'equivalente' queremos dizer que a resposta prevista contém pelo menos as mesmas informações que a resposta de ouro e não adiciona informações supérfluas. O conjunto de dados contém anotações para: * previsões de BiDAF em SQuAD dev * previsões de XLNet em SQuAD dev * previsões de Luke em SQuAD dev * previsões de Albert em exemplos de treinamento, desenvolvimento e teste de SQuAD

• Página inicial : https://github.com/google-research-datasets/answer-equivalence-dataset

• Código -fonte: tfds.datasets.answer_equivalence.Builder

• Versões :

  • 1.0.0 (padrão): versão inicial.

• Tamanho do download : 45.86 MiB

• Tamanho do conjunto de dados : 47.24 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Estrutura de recursos :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

• Exemplos ( tfds.as_dataframe ):

• Citação :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}