ج 4

• الوصف :

إصدار ضخم ومنظف من مجموعة زحف الويب الخاصة بـ Common Crawl.

استنادًا إلى مجموعة بيانات الزحف الشائعة: https://commoncrawl.org

لإنشاء مجموعة البيانات هذه ، يرجى اتباع التعليمات من t5 .

نظرًا للجهد المبذول في تنظيف مجموعة البيانات ، يوصى بإعدادها بخدمة موزعة مثل Cloud Dataflow. مزيد من المعلومات على https://www.tensorflow.org/datasets/beam_datasets

• وثائق إضافية : استكشف في الأوراق باستخدام الرمز north_east

• الصفحة الرئيسية : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• كود المصدر : tfds.text.C4

• إصدارات :

  • 2.2.0 : لا توجد ملاحظات إصدار.
  • 2.2.1 : لا توجد ملاحظات إصدار.
  • 2.3.0 : لا توجد ملاحظات إصدار.
  • 2.3.1 : لا توجد ملاحظات الإصدار.
  • 3.1.0 (افتراضي): لا توجد ملاحظات حول الإصدار.

• إرشادات التنزيل اليدوي : تتطلب مجموعة البيانات هذه تنزيل بيانات المصدر يدويًا إلى download_config.manual_dir (الإعدادات الافتراضية على ~/tensorflow_datasets/downloads/manual/ ):
  أنت تستخدم تهيئة C4 تتطلب تنزيل بعض الملفات يدويًا. بالنسبة إلى c4/webtextlike ، قم بتنزيل OpenWebText.zip من https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• التخزين المؤقت التلقائي ( التوثيق ): لا

• هيكل الميزة :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• وثائق الميزة :

• المفاتيح الخاضعة للإشراف (انظر المستند as_supervised ): None

• الشكل ( tfds.show_examples ): غير مدعوم.

• الاقتباس :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4 / en (التكوين الافتراضي)

• وصف التكوين : مجموعة بيانات باللغة الإنجليزية C4.

• حجم التحميل : 201.98 KiB

• حجم مجموعة البيانات : 806.87 GiB

• الانقسامات :

• أمثلة ( tfds.as_dataframe ):

c4 / en.noclean

• وصف التكوين : تعطيل جميع عمليات التنظيف (إزالة البيانات المكررة ، والإزالة بناءً على الكلمات السيئة ، وما إلى ذلك)

• حجم التحميل : 177.11 KiB

• حجم مجموعة البيانات : 6.21 TiB

• الانقسامات :

• أمثلة ( tfds.as_dataframe ):

c4 / realnewslike

• وصف التكوين : عوامل التصفية من التكوين الافتراضي لتضمين فقط المحتوى من المجالات المستخدمة في مجموعة بيانات "RealNews" (Zellers et al.، 2019).

• حجم التحميل : 340.29 KiB

• حجم مجموعة البيانات : 36.91 GiB

• الانقسامات :

• أمثلة ( tfds.as_dataframe ):

c4 / webtextlike

• وصف التكوين : مرشحات من التكوين الافتراضي لتضمين فقط المحتوى من عناوين URL في OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• حجم التحميل : 2.04 MiB

• حجم مجموعة البيانات : 17.93 GiB

• الانقسامات :

• أمثلة ( tfds.as_dataframe ):

c4 / متعدد اللغات

• وصف التكوين : متعدد اللغات (mC4) به 101 لغة ويتم إنشاؤه من 86 مقالب الزحف الشائعة.

• حجم التحميل : 13.60 MiB

• حجم مجموعة البيانات : 38.49 TiB

• الانقسامات :

• أمثلة ( tfds.as_dataframe ):