pg19

• Descripción :

Este conjunto de datos contiene el punto de referencia de modelado de lenguaje PG-19. Incluye un conjunto de libros extraídos del proyecto de libros Project Gutenberg ( https://www.gutenberg.org ), que se publicaron antes de 1919. También contiene metadatos de títulos de libros y fechas de publicación. PG-19 tiene más del doble del tamaño del punto de referencia de Billion Word y contiene documentos que son 20 veces más largos, en promedio, que el punto de referencia de modelado de lenguaje de largo alcance de WikiText.

Los libros se dividen en un conjunto de tren, validación y prueba. Los metadatos de los libros se almacenan en metadata.csv que contiene (id_libro, título_corto_libro, fecha_publicación, enlace_libro).

• Página de inicio: https://github.com/deepmind/pg19

• Código fuente : tfds.text.Pg19

• Versiones :

  • 0.1.1 (predeterminado): Sin notas de la versión.

• Tamaño de descarga : Unknown size

• Tamaño del conjunto de datos : 10.94 GiB

• Almacenamiento automático en caché ( documentación ): No

• Divisiones :

• Características :

FeaturesDict({
    'book_id': tf.int32,
    'book_link': tf.string,
    'book_text': Text(shape=(), dtype=tf.string),
    'book_title': tf.string,
    'publication_date': tf.string,
})

• Claves supervisadas (Ver as_supervised doc ): None

• Figura ( tfds.show_examples ): no compatible.

• Ejemplos ( tfds.as_dataframe ):

• Cita :

@article{raecompressive2019,
author = {Rae, Jack W and Potapenko, Anna and Jayakumar, Siddhant M and
          Hillier, Chloe and Lillicrap, Timothy P},
title = {Compressive Transformers for Long-Range Sequence Modelling},
journal = {arXiv preprint},
url = {https://arxiv.org/abs/1911.05507},
year = {2019},
}