O Dia da Comunidade de ML é dia 9 de novembro! Junte-nos para atualização de TensorFlow, JAX, e mais Saiba mais

saliente_span_wikipedia

  • Descrição:

Frases da Wikipedia com extensões salientes marcadas.

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

saliente_span_wikipedia / frase (configuração padrão)

  • Descrição de configuração: Exemplos são frases individuais contendo entidades.

  • Tamanho do conjunto de dados: 20.57 GiB

  • desdobramentos:

Dividir Exemplos
'train' 82.291.706
  • Características:
FeaturesDict({
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})

saliente_span_wikipedia / documentos

  • Descrição de configuração: Exemplos re documentos completos.

  • Tamanho do conjunto de dados: 16.52 GiB

  • desdobramentos:

Dividir Exemplos
'train' 13.353.718
  • Características:
FeaturesDict({
    'sentences': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
    }),
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})