saliente_span_wikipedia

  • Descripción :

Frases de Wikipedia con tramos salientes etiquetados.

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

salient_span_wikipedia/sentences (configuración predeterminada)

  • Descripción de configuración : los ejemplos son oraciones individuales que contienen entidades.

  • Tamaño del conjunto de datos : 20.57 GiB

  • Divisiones :

Separar Ejemplos
'train' 82,291,706
  • Estructura de características :
FeaturesDict({
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
se extiende Secuencia
tramos/límite Tensor int32
tramos/comienzo Tensor int32
tramos/tipo Tensor cadena
texto Texto cadena
título Texto cadena

saliente_span_wikipedia/documentos

  • Descripción de la configuración : ejemplos de documentos completos.

  • Tamaño del conjunto de datos : 16.52 GiB

  • Divisiones :

Separar Ejemplos
'train' 13,353,718
  • Estructura de características :
FeaturesDict({
    'sentences': Sequence({
        'limit': int32,
        'start': int32,
    }),
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
oraciones Secuencia
oraciones/límite Tensor int32
frases/comienzo Tensor int32
se extiende Secuencia
tramos/límite Tensor int32
tramos/comienzo Tensor int32
tramos/tipo Tensor cadena
texto Texto cadena
título Texto cadena