c4

• Описание :

Колоссальная, очищенная версия корпуса веб-сканирования Common Crawl.

На основе набора данных Common Crawl: https://commoncrawl.org

Чтобы создать этот набор данных, следуйте инструкциям из t5 .

Из-за накладных расходов на очистку набора данных рекомендуется подготовить его с помощью распределенной службы, такой как Cloud Dataflow. Больше информации на https://www.tensorflow.org/datasets/beam_datasets

• Домашняя страница : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Исходный код : tfds.text.C4

• Версии :

  • 2.2.0 : Нет примечаний к выпуску.
  • 2.2.1 : Нет примечаний к выпуску.
  • 2.3.0 : Нет примечаний к выпуску.
  • 2.3.1 : Нет примечаний к выпуску.
  • 3.0.1 (по умолчанию): без примечаний к выпуску.

• Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
  Вы используете конфигурацию C4, которая требует ручной загрузки некоторых файлов. Для c4/webtextlike загрузите OpenWebText.zip с https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• Автоматическое кэширование ( документация ): Нет

• Особенности :

FeaturesDict({
    'content-length': Text(shape=(), dtype=tf.string),
    'content-type': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
    'timestamp': Text(shape=(), dtype=tf.string),
    'url': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): None

• Цитата :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

• Рисунок ( tfds.show_examples ): не поддерживается.

c4 / en (конфигурация по умолчанию)

• Описание конфигурации : Английский набор данных C4.

• Размер загрузки : 12.28 MiB

• Размер набора данных : 806.92 GiB

• Сплит :

• Примеры ( tfds.as_dataframe ):

c4 / en.noclean

• Описание конфигурации : отключает всю очистку (дедупликацию, удаление на основе нецензурных слов и т. Д.)

• Размер загрузки : 12.25 MiB

• Размер набора данных : 6.21 TiB

• Сплит :

• Примеры ( tfds.as_dataframe ):

c4 / realnewslike

• Описание конфигурации : фильтры из конфигурации по умолчанию, чтобы включать только контент из доменов, используемых в наборе данных RealNews (Zellers et al., 2019).

• Размер загрузки : 12.41 MiB

• Размер набора данных : 36.89 GiB

• Сплит :

• Примеры ( tfds.as_dataframe ):

c4 / webtextlike

• Описание конфигурации : фильтры из конфигурации по умолчанию, чтобы включать только контент из URL-адресов в OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• Размер загрузки : 14.12 MiB

• Размер набора данных : 18.00 GiB

• Сплит :

• Примеры ( tfds.as_dataframe ):

c4 / многоязычный

• Описание конфигурации : Многоязычный C4 (mC4) имеет 101 язык и генерируется из 71 дампа Common Crawl.

• Размер загрузки : 22.74 MiB

• Размер набора данных : 26.76 TiB

• Сплит :

• Примеры ( tfds.as_dataframe ):