reddit_tifu

• Описание :

Набор данных Reddit, где TIFU обозначает название суббреддита /r/tifu. Как определено в публикации, «короткий» стиль использует заголовок в качестве сводки, а «длинный» использует tldr в качестве сводки.

Особенности включают в себя:

• документ: опубликовать текст без tldr.
• TLDR: строка TLDR.
• title: обрезанный заголовок без tldr.
• плюсы: плюсы.
• оценка: оценка.
• num_comments: количество комментариев.

• upvote_ratio: соотношение голосов.

• Дополнительная документация : изучить документы с кодом north_east

• Домашняя страница : https://github.com/ctr4si/MMN

• Исходный код : tfds.datasets.reddit_tifu.Builder

• Версии :

  • 1.1.0 : удалить пустой документ и сводные строки.
  • 1.1.1 : Добавьте сплиты train, dev и test (80/10/10), которые используются в PEGASUS ( https://arxiv.org/abs/1912.08777 ) в отдельной конфигурации. Они были созданы случайным образом с использованием функции разделения tfds и выпускаются, чтобы гарантировать воспроизводимость и сопоставимость результатов на Reddit Tifu Long. Также добавьте id к точкам данных.
  • 1.1.2 (по умолчанию): загружены исправленные сплиты.

• Структура функции :

FeaturesDict({
    'documents': Text(shape=(), dtype=string),
    'id': Text(shape=(), dtype=string),
    'num_comments': float32,
    'score': float32,
    'title': Text(shape=(), dtype=string),
    'tldr': Text(shape=(), dtype=string),
    'ups': float32,
    'upvote_ratio': float32,
})

• Документация по функциям :

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@misc{kim2018abstractive,
    title={Abstractive Summarization of Reddit Posts with Multi-level Memory Networks},
    author={Byeongchang Kim and Hyunwoo Kim and Gunhee Kim},
    year={2018},
    eprint={1811.00783},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

reddit_tifu/short (конфигурация по умолчанию)

• Описание конфигурации : использование заголовка в качестве сводки.

• Размер загрузки : 639.54 MiB

• Размер набора данных : 141.46 MiB .

• Автокэширование ( документация ): только когда shuffle_files=False (поезд)

• Сплиты :

• Контролируемые ключи (см. as_supervised doc ): ('documents', 'title')

• Примеры ( tfds.as_dataframe ):

reddit_tifu/длинный

• Описание конфигурации : Использование TLDR в качестве сводки.

• Размер загрузки : 639.54 MiB

• Размер набора данных : 93.10 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Контролируемые ключи (см. as_supervised doc ): ('documents', 'tldr')

• Примеры ( tfds.as_dataframe ):

reddit_tifu/long_split

• Описание конфигурации : использование TLDR в качестве сводки и возврата для разделения поезд/тест/разработка.

• Размер загрузки : 639.94 MiB

• Размер набора данных : 93.10 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Контролируемые ключи (см. as_supervised doc ): ('documents', 'tldr')

• Примеры ( tfds.as_dataframe ):