c4

  • 説明:

Common Crawl の Web クロール コーパスの巨大でクリーンなバージョン。

Common Crawl データセットに基づく: https://commoncrawl.org

このデータセットを生成するには、t5 の指示に従ってください。

データセットのクリーニングのオーバーヘッドがあるため、Cloud Dataflow などの分散サービスを使用して準備することをお勧めします。詳細については、 https: //www.tensorflow.org/datasets/beam_datasets をご覧ください。

  • 追加のドキュメント:コードを使用したペーパーの探索

  • ホームページ: https://github.com/google-research/text-to-text-transfer-transformer#datasets

  • ソースコード: tfds.text.C4

  • バージョン:

    • 2.2.0 : リリース ノートはありません。
    • 2.2.1 : リリース ノートはありません。
    • 2.3.0 : リリース ノートはありません。
    • 2.3.1 : リリース ノートはありません。
    • 3.1.0 (デフォルト): リリース ノートはありません。
  • 手動ダウンロードの手順: このデータセットでは、ソース データを手動でdownload_config.manual_dir (デフォルトは~/tensorflow_datasets/downloads/manual/ ) にダウンロードする必要があります。
    一部のファイルを手動でダウンロードする必要がある C4 構成を使用しています。 c4/webtextlikeの場合、 https: //mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ から OpenWebText.zip をダウンロードします。

  • 自動キャッシュ(ドキュメント): いいえ

  • 機能構造:

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
コンテンツの長さ文章ストリング
コンテンツタイプ文章ストリング
文章文章ストリング
タイムスタンプ文章ストリング
URL文章ストリング
@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (デフォルト構成)

  • 構成の説明: 英語の C4 データセット。

  • ダウンロードサイズ: 201.98 KiB

  • データセットサイズ: 806.87 GiB

  • スプリット:

スプリット
'train' 364,613,570
'validation' 364,724

c4/en.noclean

  • 構成の説明: すべてのクリーニングを無効にします (重複排除、悪い言葉に基づく削除など)。

  • ダウンロードサイズ: 177.11 KiB

  • データセットのサイズ: 6.21 TiB

  • スプリット:

スプリット
'train' 1,063,805,169
'validation' 1,065,028

c4/リアルニュースライク

  • 構成の説明: デフォルトの構成からフィルタリングして、「RealNews」データセットで使用されているドメインのコンテンツのみを含めます (Zellers et al., 2019)。

  • ダウンロードサイズ: 340.29 KiB

  • データセットサイズ: 36.91 GiB

  • スプリット:

スプリット
'train' 13,804,817
'validation' 13,855

c4/webtextlike

  • 構成の説明: OpenWebText ( https://github.com/jcpeterson/openwebtext ) の URL からのコンテンツのみを含めるように、既定の構成からフィルター処理します。

  • ダウンロードサイズ: 2.04 MiB

  • データセットサイズ: 17.93 GiB

  • スプリット:

スプリット
'train' 4,488,694
'validation' 4,486

c4/多言語

  • 構成の説明: 多言語 C4 (mC4) には 101 の言語があり、86 の共通クロール ダンプから生成されます。

  • ダウンロードサイズ: 13.60 MiB

  • データセットのサイズ: 38.49 TiB

  • スプリット:

スプリット
'af' 1,770,414
'af-validation' 1,757
'am' 291,570
'am-validation' 289
'ar' 92,455,378
'ar-validation' 92,374
'az' 7,179,300
'az-validation' 7,206
'be' 2,156,584
'be-validation' 2,103
'bg' 32,511,350
'bg-Latn' 44,290
'bg-Latn-validation' 41
'bg-validation' 32,690
'bn' 15,183,514
'bn-validation' 15,130
'ca' 19,438,615
'ca-validation' 19,562
'ceb' 415,208
'ceb-validation' 430
'co' 217,257
'co-validation' 211
'cs' 82,262,078
'cs-validation' 82,594
'cy' 1,066,595
'cy-validation' 1,016
'da' 36,884,558
'da-validation' 37,071
'de' 545,956,997
'de-validation' 547,566
'el' 68,577,376
'el-Latn' 162,004
'el-Latn-validation' 171
'el-validation' 69,435
'en' 3,928,733,379
'en-validation' 3,933,379
'eo' 560,151
'eo-validation' 546
'es' 591,272,119
'es-validation' 592,258
'et' 10,401,882
'et-validation' 10,276
'eu' 2,077,113
'eu-validation' 2,077
'fa' 81,252,911
'fa-validation' 81,034
'fi' 36,807,562
'fi-validation' 36,512
'fil' 2,331,209
'fil-validation' 2,381
'fr' 454,229,019
'fr-validation' 453,124
'fy' 502,656
'fy-validation' 478
'ga' 611,457
'ga-validation' 631
'gd' 201,237
'gd-validation' 196
'gl' 3,762,255
'gl-validation' 3,811
'gu' 1,292,191
'gu-validation' 1,323
'ha' 363,002
'ha-validation' 368
'haw' 103,043
'haw-validation' 99
'hi' 26,695,748
'hi-Latn' 251,231
'hi-Latn-validation' 261
'hi-validation' 26,721
'hmn' 157,016
'hmn-validation' 175
'ht' 232,354
'ht-validation' 246
'hu' 56,645,732
'hu-validation' 56,905
'hy' 3,873,029
'hy-validation' 3,804
'id' 19,423,746
'id-validation' 19,601
'ig' 110,582
'ig-validation' 103
'is' 3,139,312
'is-validation' 3,210
'it' 267,686,115
'it-validation' 267,322
'iw' 17,607,812
'iw-validation' 17,570
'ja' 85,226,039
'ja-Latn' 235,885
'ja-Latn-validation' 221
'ja-validation' 85,618
'jv' 218,969
'jv-validation' 253
'ka' 3,726,808
'ka-validation' 3,752
'kk' 3,421,165
'kk-validation' 3,443
'km' 1,384,128
'km-validation' 1,359
'kn' 1,916,445
'kn-validation' 1,895
'ko' 24,035,493
'ko-validation' 24,240
'ku' 399,027
'ku-validation' 417
'ky' 1,198,504
'ky-validation' 1,188
'la' 1,632,557
'la-validation' 1,630
'lb' 850,921
'lb-validation' 856
'lo' 302,612
'lo-validation' 290
'lt' 18,234,466
'lt-validation' 18,428
'lv' 9,882,376
'lv-validation' 10,034
'mg' 263,321
'mg-validation' 254
'mi' 148,146
'mi-validation' 156
'mk' 3,599,707
'mk-validation' 3,713
'ml' 3,604,562
'ml-validation' 3,514
'mn' 2,947,312
'mn-validation' 3,021
'mr' 4,555,599
'mr-validation' 4,602
'ms' 4,688,036
'ms-validation' 4,719
'mt' 1,109,191
'mt-validation' 1,207
'my' 1,248,242
'my-validation' 1,314
'ne' 4,679,412
'ne-validation' 4,738
'nl' 136,379,427
'nl-validation' 137,142
'no' 30,644,684
'no-validation' 31,134
'ny' 114,952
'ny-validation' 121
'pa' 729,394
'pa-validation' 719
'pl' 178,690,573
'pl-validation' 178,481
'ps' 497,321
'ps-validation' 468
'pt' 246,401,954
'pt-validation' 246,120
'ro' 66,499,899
'ro-validation' 66,384
'ru' 1,014,064,014
'ru-Latn' 582,022
'ru-Latn-validation' 616
'ru-validation' 1,014,169
'sd' 210,835
'sd-validation' 206
'si' 846,125
'si-validation' 846
'sk' 26,721,250
'sk-validation' 26,882
'sl' 12,381,886
'sl-validation' 12,381
'sm' 102,125
'sm-validation' 108
'sn' 124,984
'sn-validation' 116
'so' 1,168,106
'so-validation' 1,212
'sq' 7,023,573
'sq-validation' 7,057
'sr' 4,775,217
'sr-validation' 4,804
'st' 99,970
'st-validation' 103
'su' 153,302
'su-validation' 151
'sv' 63,308,307
'sv-validation' 63,488
'sw' 1,279,408
'sw-validation' 1,296
'ta' 5,769,533
'ta-validation' 5,770
'te' 2,034,828
'te-validation' 2,010
'tg' 1,563,304
'tg-validation' 1,526
'th' 28,021,205
'th-validation' 28,062
'tr' 132,662,955
'tr-validation' 133,062
'uk' 56,159,593
'uk-validation' 56,321
'und' 3,650,492,732
'und-validation' 3,656,588
'ur' 3,432,478
'ur-validation' 3,443
'uz' 1,183,603
'uz-validation' 1,259
'vi' 132,667,573
'vi-validation' 132,915
'xh' 122,232
'xh-validation' 117
'yi' 173,510
'yi-validation' 166
'yo' 86,686
'yo-validation' 82
'zh' 214,856,503
'zh-Latn' 471,314
'zh-Latn-validation' 492
'zh-validation' 214,733
'zu' 261,239
'zu-validation' 253