page 19

  • Description:

Cet ensemble de données contient le benchmark de modélisation du langage PG-19. Il comprend un ensemble de livres extraits du projet de livres Projet Gutenberg ( https://www.gutenberg.org ), qui ont été publiés avant 1919. Il contient également des métadonnées des titres de livres et dates de publication. PG-19 est plus du double de la taille du benchmark Billion Word et contient des documents 20 fois plus longs, en moyenne, que le benchmark de modélisation de langage à longue portée WikiText.

Les livres sont partitionnés en un ensemble de train, de validation et de test. Les métadonnées des livres sont stockées dans metadata.csv qui contient (book_id, short_book_title, publication_date, book_link).

Diviser Exemples
'test' 100
'train' 28 602
'validation' 50
  • Caractéristiques:
FeaturesDict({
    'book_id': tf.int32,
    'book_link': tf.string,
    'book_text': Text(shape=(), dtype=tf.string),
    'book_title': tf.string,
    'publication_date': tf.string,
})
  • citation:
@article{raecompressive2019,
author = {Rae, Jack W and Potapenko, Anna and Jayakumar, Siddhant M and
          Hillier, Chloe and Lillicrap, Timothy P},
title = {Compressive Transformers for Long-Range Sequence Modelling},
journal = {arXiv preprint},
url = {https://arxiv.org/abs/1911.05507},
year = {2019},
}