Эта страница была переведа с помощью Cloud Translation API.
Switch to English

отдел новостей

  • Описание :

NEWSROOM - это большой набор данных для обучения и оценки систем реферирования. Он содержит 1,3 миллиона статей и резюме, написанных авторами и редакторами в редакциях 38 крупных изданий.

Функции набора данных включают:

  • текст: введите текст новости.
  • Summary: Резюме для новостей. И дополнительные возможности:
  • title: заголовок новости.
  • url: URL-адрес новости.
  • date: дата публикации.
  • плотность: экстрактивная плотность.
  • покрытие: экстракционное покрытие.
  • сжатие: степень сжатия.
  • density_bin: низкий, средний, высокий.
  • покрытие_bin: экстрактивное, абстрактное.
  • сжатие_bin: низкий, средний, высокий.

Этот набор данных можно скачать по запросу. Разархивируйте все содержимое «train.jsonl, dev.josnl, test.jsonl» в папку tfds.

  • Домашняя страница : https://summari.es

  • Исходный код : tfds.summarization.Newsroom

  • Версии :

    • 1.0.0 (по умолчанию): без примечаний к выпуску.

  • Размер загрузки : Unknown size

  • Размер набора данных : Unknown size

  • Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
    Вы должны загрузить набор данных с https://summari.es/download/. Для этого требуется регистрация. После загрузки поместите файлы dev.jsonl, test.jsonl и train.jsonl в каталог manual_dir.

  • Автоматическое кэширование ( документация ): неизвестно

  • Сплит :

Трещина Примеры
'test' 108 862
'train' 995 041
'validation' 108 837
  • Особенности :
FeaturesDict({
    'compression': tf.float32,
    'compression_bin': Text(shape=(), dtype=tf.string),
    'coverage': tf.float32,
    'coverage_bin': Text(shape=(), dtype=tf.string),
    'date': Text(shape=(), dtype=tf.string),
    'density': tf.float32,
    'density_bin': Text(shape=(), dtype=tf.string),
    'summary': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
    'url': Text(shape=(), dtype=tf.string),
})

  • Контролируемые ключи (см. as_supervised doc ): ('text', 'summary')

  • Цитата :

@article{Grusky_2018,
   title={Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies},
   url={http://dx.doi.org/10.18653/v1/n18-1065},
   DOI={10.18653/v1/n18-1065},
   journal={Proceedings of the 2018 Conference of the North American Chapter of
          the Association for Computational Linguistics: Human Language
          Technologies, Volume 1 (Long Papers)},
   publisher={Association for Computational Linguistics},
   author={Grusky, Max and Naaman, Mor and Artzi, Yoav},
   year={2018}
}