salient_span_wikipedia

  • 説明:

顕著な範囲にラベルが付けられたウィキペディアの文章。

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

salient_span_wikipedia/sentences (デフォルト設定)

  • 構成の説明: 例は、エンティティを含む個々の文です。

  • データセットサイズ: 20.57 GiB

  • スプリット:

スプリット
'train' 82,291,706
  • 機能構造:
FeaturesDict({
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
スパン順序
スパン/制限テンソルint32
スパン/開始テンソルint32
スパン/タイプテンソルストリング
文章文章ストリング
題名文章ストリング

salient_span_wikipedia/ドキュメント

  • 構成の説明: 完全なドキュメントの例。

  • データセットサイズ: 16.52 GiB

  • スプリット:

スプリット
'train' 13,353,718
  • 機能構造:
FeaturesDict({
    'sentences': Sequence({
        'limit': int32,
        'start': int32,
    }),
    'spans': Sequence({
        'limit': int32,
        'start': int32,
        'type': string,
    }),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
文章順序
文/制限テンソルint32
文/開始テンソルint32
スパン順序
スパン/制限テンソルint32
スパン/開始テンソルint32
スパン/タイプテンソルストリング
文章文章ストリング
題名文章ストリング