xsum

  • 説明

極端な要約(XSum)データセット。

2つの機能があります。-ドキュメント:ニュース記事を入力します。 -要約:記事の1文の要約。

で説明したようにmanaullyダウンロードして解凍するためにこのデータが必要https://github.com/EdinburghNLP/XSum/blob/master/XSum-Dataset/README.mdフォルダ「xsum-抽出-から-ダウンロード」として圧縮する必要があります'xsum-extracts-from-downloads.tar.gz'を実行し、手動でダウンロードしたフォルダーに配置します。

スプリット
'test' 11,301
'train' 203,577
'validation' 11,305
  • 特長
FeaturesDict({
    'document': Text(shape=(), dtype=tf.string),
    'summary': Text(shape=(), dtype=tf.string),
})
  • 引用
@article{Narayan2018DontGM,
  title={Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization},
  author={Shashi Narayan and Shay B. Cohen and Mirella Lapata},
  journal={ArXiv},
  year={2018},
  volume={abs/1808.08745}
}