सी 4

• विवरण :

कॉमन क्रॉल के वेब क्रॉल कॉर्पस का एक विशाल, साफ संस्करण।

कॉमन क्रॉल डेटासेट पर आधारित: https://commoncrawl.org

इस डेटासेट को बनाने के लिए, कृपया t5 के निर्देशों का पालन करें।

डेटासेट की सफाई के ओवरहेड के कारण, यह अनुशंसा की जाती है कि आप इसे क्लाउड डेटाफ़्लो जैसी वितरित सेवा के साथ तैयार करें। https://www.tensorflow.org/datasets/beam_datasets पर अधिक जानकारी

• अतिरिक्त दस्तावेज़ीकरण : north_east कोड वाले पेपर्स पर एक्सप्लोर करें

• मुखपृष्ठ : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• स्रोत कोड : tfds.text.C4

• संस्करण :

  • 2.2.0 : कोई रिलीज नोट नहीं।
  • 2.2.1 : कोई रिलीज नोट नहीं।
  • 2.3.0 : कोई रिलीज नोट नहीं।
  • 2.3.1 : कोई रिलीज नोट नहीं।
  • 3.1.0 (डिफ़ॉल्ट): कोई रिलीज़ नोट नहीं।

• मैन्युअल डाउनलोड निर्देश : इस डेटासेट के लिए आपको स्रोत डेटा को मैन्युअल रूप से download_config.manual_dir (डिफ़ॉल्ट रूप से ~/tensorflow_datasets/downloads/manual/ ) में डाउनलोड करना होगा:
  आप एक C4 कॉन्फ़िगरेशन का उपयोग कर रहे हैं जिसके लिए कुछ फ़ाइलों को मैन्युअल रूप से डाउनलोड करने की आवश्यकता है। c4/webtextlike के लिए, https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ से OpenWebText.zip डाउनलोड करें

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं

• फ़ीचर संरचना :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• फ़ीचर दस्तावेज़ीकरण :

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उद्धरण :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (डिफ़ॉल्ट कॉन्फ़िगरेशन)

• कॉन्फ़िग विवरण : अंग्रेज़ी C4 डेटासेट।

• डाउनलोड आकार : 201.98 KiB

• डेटासेट का आकार : 806.87 GiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):

c4/hi.noclean

• Config विवरण : सभी सफाई अक्षम करता है (डुप्लीकेशन, बुरे शब्दों के आधार पर हटाना, आदि)

• डाउनलोड आकार : 177.11 KiB

• डेटासेट का आकार : 6.21 TiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):

c4/realnewslike

• कॉन्फ़िगरेशन विवरण : डिफ़ॉल्ट कॉन्फ़िगरेशन से फ़िल्टर केवल 'RealNews' डेटासेट (Zellers et al., 2019) में उपयोग किए गए डोमेन की सामग्री को शामिल करते हैं।

• डाउनलोड आकार : 340.29 KiB

• डेटासेट का आकार : 36.91 GiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):

c4/webtextlike

• कॉन्फिग विवरण : डिफॉल्ट कॉन्फिग से फिल्टर केवल OpenWebText ( https://github.com/jcpeterson/openwebtext ) में URL से सामग्री शामिल करने के लिए।

• डाउनलोड आकार : 2.04 MiB

• डेटासेट का आकार : 17.93 GiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):

c4/बहुभाषी

• विन्यास विवरण : बहुभाषी C4 (mC4) में 101 भाषाएँ हैं और यह 86 सामान्य क्रॉल डंप से उत्पन्न होता है।

• डाउनलोड आकार : 13.60 MiB

• डेटासेट का आकार : 38.49 TiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):