c4

• বর্ণনা :

কমন ক্রলের ওয়েব ক্রল কর্পাসের একটি বিশাল, পরিষ্কার সংস্করণ।

সাধারণ ক্রল ডেটাসেটের উপর ভিত্তি করে: https://commoncrawl.org

এই ডেটাসেট তৈরি করতে, অনুগ্রহ করে t5 থেকে নির্দেশাবলী অনুসরণ করুন ।

ডেটাসেট পরিষ্কার করার ওভারহেডের কারণে, ক্লাউড ডেটাফ্লো-এর মতো বিতরণ করা পরিষেবা দিয়ে এটি প্রস্তুত করার পরামর্শ দেওয়া হচ্ছে। আরও তথ্য https://www.tensorflow.org/datasets/beam_datasets এ

• অতিরিক্ত ডকুমেন্টেশন : north_east কোড সহ কাগজপত্রে অন্বেষণ করুন

• হোমপেজ : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• সোর্স কোড : tfds.text.C4

• সংস্করণ :

  • 2.2.0 : কোনো রিলিজ নোট নেই।
  • 2.2.1 : কোনো রিলিজ নোট নেই।
  • 2.3.0 : কোনো রিলিজ নোট নেই।
  • 2.3.1 : কোন রিলিজ নোট নেই।
  • 3.1.0 (ডিফল্ট): কোনো রিলিজ নোট নেই।

• ম্যানুয়াল ডাউনলোডের নির্দেশাবলী : এই ডেটাসেটের জন্য আপনাকে ডাউনলোড_config.manual_dir-এ ম্যানুয়ালি উৎস ডেটা download_config.manual_dir করতে হবে ( ~/tensorflow_datasets/downloads/manual/ ডিফল্ট):
  আপনি একটি C4 কনফিগার ব্যবহার করছেন যার জন্য কিছু ফাইল ম্যানুয়ালি ডাউনলোড করা প্রয়োজন। c4/webtextlike এর জন্য, https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ থেকে OpenWebText.zip ডাউনলোড করুন

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না

• বৈশিষ্ট্য গঠন :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• বৈশিষ্ট্য ডকুমেন্টেশন :

• তত্ত্বাবধান করা কী (দেখুন as_supervised doc ): None

• চিত্র ( tfds.show_examples ): সমর্থিত নয়।

• উদ্ধৃতি :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (ডিফল্ট কনফিগারেশন)

• কনফিগার বিবরণ : ইংরেজি C4 ডেটাসেট।

• ডাউনলোড সাইজ : 201.98 KiB

• ডেটাসেটের আকার : 806.87 GiB

• বিভাজন :

• উদাহরণ ( tfds.as_dataframe ):

c4/en.noclean

• কনফিগারেশনের বিবরণ : সমস্ত পরিষ্কার করা অক্ষম করে (অন্যদৃষ্টি, খারাপ শব্দের উপর ভিত্তি করে অপসারণ ইত্যাদি)

• ডাউনলোড সাইজ : 177.11 KiB

• ডেটাসেটের আকার : 6.21 TiB

• বিভাজন :

• উদাহরণ ( tfds.as_dataframe ):

c4/realnewslike

• কনফিগারেশনের বিবরণ : ডিফল্ট কনফিগারেশন থেকে ফিল্টারগুলি শুধুমাত্র 'RealNews' ডেটাসেটে ব্যবহৃত ডোমেন থেকে সামগ্রী অন্তর্ভুক্ত করতে (Zellers et al., 2019)।

• ডাউনলোড সাইজ : 340.29 KiB

• ডেটাসেটের আকার : 36.91 GiB

• বিভাজন :

• উদাহরণ ( tfds.as_dataframe ):

c4/ওয়েবটেক্সট লাইক

• কনফিগারেশনের বিবরণ : শুধুমাত্র OpenWebText ( https://github.com/jcpeterson/openwebtext ) এ URL থেকে সামগ্রী অন্তর্ভুক্ত করতে ডিফল্ট কনফিগার থেকে ফিল্টার।

• ডাউনলোড আকার : 2.04 MiB

• ডেটাসেটের আকার : 17.93 GiB

• বিভাজন :

• উদাহরণ ( tfds.as_dataframe ):

c4/বহুভাষিক

• কনফিগার বিবরণ : বহুভাষিক C4 (mC4) এর 101টি ভাষা রয়েছে এবং এটি 86টি সাধারণ ক্রল ডাম্প থেকে তৈরি করা হয়েছে।

• ডাউনলোড আকার : 13.60 MiB

• ডেটাসেটের আকার : 38.49 TiB

• বিভাজন :

• উদাহরণ ( tfds.as_dataframe ):