perguntas_naturais

• Descrição :

O corpus NQ contém perguntas de usuários reais e requer que os sistemas de controle de qualidade leiam e compreendam um artigo inteiro da Wikipédia que pode ou não conter a resposta para a pergunta. A inclusão de perguntas reais do usuário e a exigência de que as soluções devem ler uma página inteira para encontrar a resposta fazem com que o NQ seja uma tarefa mais realista e desafiadora do que os conjuntos de dados de QA anteriores.

• Documentação Adicional : Explore em Papers With Code north_east

• Página inicial : https://ai.google.com/research/NaturalQuestions/dataset

• Código -fonte: tfds.datasets.natural_questions.Builder

• Versões :

  • 0.0.2 : Sem notas de versão.
  • 0.1.0 (padrão): sem notas de versão.

• Tamanho do download : 41.97 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

• Citação :

@article{47761,
title = {Natural Questions: a Benchmark for Question Answering Research},
author = {Tom Kwiatkowski and Jennimaria Palomaki and Olivia Redfield and Michael Collins and Ankur Parikh and Chris Alberti and Danielle Epstein and Illia Polosukhin and Matthew Kelcey and Jacob Devlin and Kenton Lee and Kristina N. Toutanova and Llion Jones and Ming-Wei Chang and Andrew Dai and Jakob Uszkoreit and Quoc Le and Slav Petrov},
year = {2019},
journal = {Transactions of the Association of Computational Linguistics}
}

natural_questions/default (configuração padrão)

• Descrição da configuração : configuração natural_questions padrão

• Tamanho do conjunto de dados : 90.26 GiB

• Estrutura de recursos :

FeaturesDict({
    'annotations': Sequence({
        'id': string,
        'long_answer': FeaturesDict({
            'end_byte': int64,
            'end_token': int64,
            'start_byte': int64,
            'start_token': int64,
        }),
        'short_answers': Sequence({
            'end_byte': int64,
            'end_token': int64,
            'start_byte': int64,
            'start_token': int64,
            'text': Text(shape=(), dtype=string),
        }),
        'yes_no_answer': ClassLabel(shape=(), dtype=int64, num_classes=2),
    }),
    'document': FeaturesDict({
        'html': Text(shape=(), dtype=string),
        'title': Text(shape=(), dtype=string),
        'tokens': Sequence({
            'is_html': bool,
            'token': Text(shape=(), dtype=string),
        }),
        'url': Text(shape=(), dtype=string),
    }),
    'id': string,
    'question': FeaturesDict({
        'text': Text(shape=(), dtype=string),
        'tokens': Sequence(string),
    }),
})

• Documentação do recurso:

• Exemplos ( tfds.as_dataframe ):

natural_questions/longt5

• Descrição da configuração : natural_questions pré-processado como no benchmark longT5

• Tamanho do conjunto de dados : 8.91 GiB

• Estrutura de recursos :

FeaturesDict({
    'all_answers': Sequence(Text(shape=(), dtype=string)),
    'answer': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Exemplos ( tfds.as_dataframe ):