Эта страница была переведа с помощью Cloud Translation API.
Switch to English

lm1b

  • Описание :

Корпус тестов, который будет использоваться для измерения прогресса в статистическом языковом моделировании. В обучающих данных содержится почти миллиард слов.

  • Домашняя страница : http://www.statmt.org/lm-benchmark/

  • Исходный код : tfds.text.Lm1b

  • Версии :

    • 1.0.0 (по умолчанию): без примечаний к выпуску.
  • Размер загружаемого файла : 1.67 GiB

  • Размер набора данных : Unknown size

  • Автоматическое кэширование ( документация ): неизвестно

  • Сплит :

Трещина Примеры
'test' 306 688
'train' 30 301 028
  • Контролируемые ключи (см. as_supervised ): ('text', 'text')

  • Цитата :

@article{DBLP:journals/corr/ChelbaMSGBK13,
  author    = {Ciprian Chelba and
               Tomas Mikolov and
               Mike Schuster and
               Qi Ge and
               Thorsten Brants and
               Phillipp Koehn},
  title     = {One Billion Word Benchmark for Measuring Progress in Statistical Language
               Modeling},
  journal   = {CoRR},
  volume    = {abs/1312.3005},
  year      = {2013},
  url       = {http://arxiv.org/abs/1312.3005},
  archivePrefix = {arXiv},
  eprint    = {1312.3005},
  timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
  biburl    = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

lm1b / plain_text (конфигурация по умолчанию)

  • Описание конфигурации : обычный текст

  • Особенности :

FeaturesDict({
    'text': Text(shape=(), dtype=tf.string),
})

lm1b / байты

  • Описание конфигурации : использует кодировку текста на tfds.deprecated.text.ByteTextEncoder уровне с tfds.deprecated.text.ByteTextEncoder

  • Особенности :

FeaturesDict({
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<ByteTextEncoder vocab_size=257>),
})

lm1b / subwords8k

  • Описание конфигурации : использует tfds.deprecated.text.SubwordTextEncoder с размером tfds.deprecated.text.SubwordTextEncoder 8 КБ

  • Особенности :

FeaturesDict({
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8189>),
})

lm1b / subwords32k

  • Описание конфигурации : использует tfds.deprecated.text.SubwordTextEncoder с размером tfds.deprecated.text.SubwordTextEncoder

  • Особенности :

FeaturesDict({
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=32711>),
})