c4

• תיאור:

גרסה עצומה ומנוקה של קורפוס סריקת האינטרנט של Common Crawl.

בהתבסס על הנתונים Common סריקה: https://commoncrawl.org

כדי ליצור מערך נתונים זה, בצע את ההוראות מ T5 .

בשל התקציב לניקוי מערך הנתונים, מומלץ להכין אותו עם שירות מבוזר כמו Cloud Dataflow. מידע נוסף על https://www.tensorflow.org/datasets/beam_datasets

• דף הבית: https://github.com/google-research/text-to-text-transfer-transformer#datasets

• קוד מקור: tfds.text.C4

• גרסאות:

  • 2.2.0 : אין הערות מוצר.
  • 2.2.1 : אין הערות מוצר.
  • 2.3.0 : אין הערות מוצר.
  • 2.3.1 : אין הערות מוצר.
  • 3.0.1 (ברירת המחדל): הערות השחרור לא.

• הוראות הורדה ידנית: מערך נתונים זה מחייב אותך להוריד את נתוני המקור באופן ידני לתוך download_config.manual_dir (ברירת המחדל היא ~/tensorflow_datasets/downloads/manual/ ):
  אתה משתמש בתצורת C4 הדורשת הורדה ידנית של כמה קבצים. עבור c4/webtextlike , הורדה OpenWebText.zip מן https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• Auto-במטמון ( תיעוד ): אין

• מאפיינים:

FeaturesDict({
    'content-length': Text(shape=(), dtype=tf.string),
    'content-type': Text(shape=(), dtype=tf.string),
    'text': Text(shape=(), dtype=tf.string),
    'timestamp': Text(shape=(), dtype=tf.string),
    'url': Text(shape=(), dtype=tf.string),
})

• מפתחות השגחה (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• ציטוט:

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/he (הגדרת ברירת מחדל)

• תיאור Config: הנתונים C4 אנגלית.

• גודל ההורדה: 12.28 MiB

• גודל בסיס הנתונים: 806.92 GiB

• פיצולים:

• דוגמאות ( tfds.as_dataframe ):

c4/en.noclean

• תיאור Config: ניקוי כל השבתות (מניעת כפילויות, הסרת מבוסס על מילים רעות, וכו ')

• גודל ההורדה: 12.25 MiB

• מערך נתונים גודל: 6.21 TiB

• פיצולים:

• דוגמאות ( tfds.as_dataframe ):

c4/realnewslike

• תיאור Config: מסננים מן config המחדל לכלול תכנים רק התחומים בשימוש במערך "RealNews" (Zellers ואח, 2019.).

• גודל ההורדה: 12.41 MiB

• גודל בסיס הנתונים: 36.89 GiB

• פיצולים:

• דוגמאות ( tfds.as_dataframe ):

c4/webtextlike

• תיאור Config: מסננים מן config המחדל לכלול רק תוכן מכתובות אתר OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• גודל ההורדה: 14.12 MiB

• גודל בסיס הנתונים: 18.00 GiB

• פיצולים:

• דוגמאות ( tfds.as_dataframe ):

c4/רב לשוני

• יש רב C4 (MC4) 101 שפות מופק 71 סריקה נפוצה מרוקן: תיאור Config.

• גודל ההורדה: 22.74 MiB

• מערך נתונים גודל: 26.76 TiB

• פיצולים:

• דוגמאות ( tfds.as_dataframe ):