saliente_span_wikipedia

  • Descripción :

Frases de Wikipedia con tramos salientes etiquetados.

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

salient_span_wikipedia/sentences (configuración predeterminada)

  • Descripción de configuración : los ejemplos son oraciones individuales que contienen entidades.

  • Tamaño del conjunto de datos : 20.57 GiB

  • Divisiones :

Separar Ejemplos
'train' 82,291,706
  • Estructura de características :
FeaturesDict({
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
se extiende Secuencia
tramos/límite Tensor tf.int32
tramos/comienzo Tensor tf.int32
tramos/tipo Tensor tf.cadena
texto Texto tf.cadena
título Texto tf.cadena

saliente_span_wikipedia/documentos

  • Descripción de la configuración : ejemplos de documentos completos.

  • Tamaño del conjunto de datos : 16.52 GiB

  • Divisiones :

Separar Ejemplos
'train' 13,353,718
  • Estructura de características :
FeaturesDict({
    'sentences': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
    }),
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
oraciones Secuencia
oraciones/límite Tensor tf.int32
frases/comienzo Tensor tf.int32
se extiende Secuencia
tramos/límite Tensor tf.int32
tramos/comienzo Tensor tf.int32
tramos/tipo Tensor tf.cadena
texto Texto tf.cadena
título Texto tf.cadena