c4

• توضیحات :

نسخه عظیم و تمیز شده مجموعه خزنده وب مشترک Crawl.

براساس مجموعه داده های خزنده مشترک: https://commoncrawl.org

برای تولید این مجموعه داده ، لطفاً دستورالعمل های t5 را دنبال کنید.

با توجه به هزینه بالای تمیز کردن مجموعه داده ، توصیه می شود آن را با یک سرویس توزیع شده مانند Cloud Dataflow آماده کنید. اطلاعات بیشتر در https://www.tensorflow.org/datasets/beam_datasets

• صفحه اصلی : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• کد منبع : tfds.text.C4

• نسخه ها :

  • 2.2.0 : بدون یادداشت انتشار.
  • 2.2.1 : بدون یادداشت انتشار.
  • 2.3.0 : بدون یادداشت انتشار.
  • 2.3.1 : بدون یادداشت انتشار.
  • 3.0.1 (پیش فرض): بدون یادداشت انتشار.

• دستورالعمل های بارگیری دستی : برای این مجموعه داده لازم است که داده های منبع را به صورت دستی در download_config.manual_dir (به طور پیش فرض ~/tensorflow_datasets/downloads/manual/ ):
  شما از پیکربندی C4 استفاده می کنید که نیاز به بارگیری دستی برخی از پرونده ها است. برای c4/webtextlike ، OpenWebText.zip را از https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ بارگیری کنید

• ذخیره خودکار ( مستندات ): خیر

• ویژگی ها :

FeaturesDict({
    'content-length': Text(shape=(), dtype=tf.string),
    'content-type': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
    'timestamp': Text(shape=(), dtype=tf.string),
    'url': Text(shape=(), dtype=tf.string),
})

• کلیدهای تحت نظارت (به as_supervised سند نظارت شده مراجعه کنید): None

• نقل قول :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

c4 / en (پیکربندی پیش فرض)

• شرح پیکربندی : مجموعه داده انگلیسی C4.

• اندازه بارگیری : 12.28 MiB

• اندازه مجموعه داده : 806.92 GiB

• تقسیم :

• مثالها ( tfds.as_dataframe ):

c4 / en.noclean

• توضیحات پیکربندی : همه تمیز کردن ها (تکثیر ، حذف بر اساس کلمات بد و غیره) را غیرفعال می کند

• اندازه بارگیری : 12.25 MiB

• اندازه مجموعه داده : 6.21 TiB

• تقسیم :

• مثالها ( tfds.as_dataframe ):

c4 / realnewslike

• شرح پیکربندی : فیلترها از پیکربندی پیش فرض فقط شامل محتوای دامنه های مورد استفاده در مجموعه داده "RealNews" هستند (Zellers et al.، 2019).

• اندازه بارگیری : 12.41 MiB

• اندازه مجموعه داده : 36.89 GiB

• تقسیم :

• مثالها ( tfds.as_dataframe ):

c4 / webtextlike

• توضیحات پیکربندی : فیلترها از پیکربندی پیش فرض فقط شامل محتوای URL ها در OpenWebText ( https://github.com/jcpeterson/openwebtext ) هستند.

• اندازه بارگیری : 14.12 MiB

• اندازه مجموعه داده : 18.00 GiB

• تقسیم :

• مثالها ( tfds.as_dataframe ):

c4 / چند زبانه

• توضیحات پیکربندی : چند زبانه C4 (mC4) دارای 101 زبان است و از 71 تخلیه متداول خزنده تولید می شود.

• حجم دانلود : 22.74 MiB

• اندازه مجموعه داده : 26.76 TiB

• تقسیم :

• مثالها ( tfds.as_dataframe ):