reddit

• বর্ণনা :

এই কর্পাসে Reddit ডেটাসেট থেকে প্রি-প্রসেস করা পোস্ট রয়েছে। ডেটাসেটটিতে 3,848,330টি পোস্ট রয়েছে যার গড় দৈর্ঘ্য বিষয়বস্তুর জন্য 270 শব্দ এবং সারাংশের জন্য 28টি শব্দ।

বৈশিষ্ট্যগুলির মধ্যে স্ট্রিংগুলি অন্তর্ভুক্ত রয়েছে: লেখক, বডি, নরমালাইজড বডি, বিষয়বস্তু, সারাংশ, সাবরেডিট, সাবরেডিট_আইডি। বিষয়বস্তু নথি হিসাবে ব্যবহৃত হয় এবং সারাংশ সারাংশ হিসাবে ব্যবহৃত হয়।

• অতিরিক্ত ডকুমেন্টেশন : north_east কোড সহ কাগজপত্রে অন্বেষণ করুন

• হোমপেজ : https://github.com/webis-de/webis-tldr-17-corpus

• সোর্স কোড : tfds.datasets.reddit.Builder

• সংস্করণ :

  • 1.0.0 (ডিফল্ট): কোনো রিলিজ নোট নেই।

• ডাউনলোড সাইজ : 2.93 GiB

• ডেটাসেটের আকার : 18.09 GiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না

• বিভাজন :

• বৈশিষ্ট্য গঠন :

FeaturesDict({
    'author': string,
    'body': string,
    'content': string,
    'id': string,
    'normalizedBody': string,
    'subreddit': string,
    'subreddit_id': string,
    'summary': string,
})

• বৈশিষ্ট্য ডকুমেন্টেশন :

• তত্ত্বাবধান করা কী (দেখুন as_supervised doc ): ('content', 'summary')

• চিত্র ( tfds.show_examples ): সমর্থিত নয়।

• উদাহরণ ( tfds.as_dataframe ):

• উদ্ধৃতি :

@inproceedings{volske-etal-2017-tl,
    title = "{TL};{DR}: Mining {R}eddit to Learn Automatic Summarization",
    author = {V{\"o}lske, Michael  and
      Potthast, Martin  and
      Syed, Shahbaz  and
      Stein, Benno},
    booktitle = "Proceedings of the Workshop on New Frontiers in Summarization",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/W17-4508",
    doi = "10.18653/v1/W17-4508",
    pages = "59--63",
    abstract = "Recent advances in automatic text summarization have used deep neural networks to generate high-quality abstractive summaries, but the performance of these models strongly depends on large amounts of suitable training data. We propose a new method for mining social media for author-provided summaries, taking advantage of the common practice of appending a {``}TL;DR{''} to long posts. A case study using a large Reddit crawl yields the Webis-TLDR-17 dataset, complementing existing corpora primarily from the news genre. Our technique is likely applicable to other social media sites and general web crawls.",
}