wiki40b

• توضیحات :

متن پاک‌سازی برای بیش از 40 زبان ویکی‌پدیا، نسخه‌های صفحات مربوط به موجودیت‌ها هستند. مجموعه داده‌ها دارای تقسیم‌بندی قطار/dev/تست در هر زبان هستند. مجموعه داده با فیلتر کردن صفحه پاک می‌شود تا صفحات ابهام‌زدایی، صفحات تغییر مسیر، صفحات حذف‌شده و صفحات غیر موجودیت حذف شوند. هر مثال حاوی شناسه ویکی داده موجودیت، و مقاله کامل ویکی‌پدیا پس از پردازش صفحه است که بخش‌های غیرمحتوا و اشیاء ساختاریافته را حذف می‌کند. مدل های زبان آموزش دیده در این مجموعه - شامل 41 مدل تک زبانه، و 2 مدل چند زبانه - را می توانید در https://tfhub.dev/google/collections/wiki40b-lm/1 بیابید.

• اسناد اضافی : کاوش در کاغذها با کد north_east

• صفحه اصلی : https://research.google/pubs/pub49029/

• کد منبع : tfds.text.Wiki40b

• نسخه ها :

  • 1.3.0 (پیش فرض): بدون یادداشت انتشار.

• اندازه دانلود : Unknown size

• ساختار ویژگی :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• کلیدهای نظارت شده (به as_supervised doc مراجعه کنید): None

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

• نقل قول :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (پیکربندی پیش‌فرض)

• توضیحات پیکربندی : مجموعه داده Wiki40B برای en.

• حجم مجموعه داده : 9.91 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ar

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ar.

• حجم مجموعه داده : 833.20 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/zh-cn

• توضیحات پیکربندی : مجموعه داده Wiki40B برای zh-cn.

• حجم مجموعه داده : 985.53 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/zh-tw

• توضیحات پیکربندی : مجموعه داده Wiki40B برای zh-tw.

• حجم مجموعه داده : 986.45 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/nl

• توضیحات پیکربندی : مجموعه داده Wiki40B برای nl.

• حجم مجموعه داده : 961.82 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/fr

• توضیحات پیکربندی : مجموعه داده Wiki40B برای fr.

• حجم مجموعه داده : 3.37 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/de

• توضیحات پیکربندی : مجموعه داده Wiki40B برای de.

• حجم مجموعه داده : 4.78 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/it

• توضیحات پیکربندی : مجموعه داده Wiki40B برای آن.

• حجم مجموعه داده : 2.00 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ja

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ja.

• حجم مجموعه داده : 2.19 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ko

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ko.

• حجم مجموعه داده : 453.98 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/pl

• توضیحات پیکربندی : مجموعه داده Wiki40B برای pl.

• حجم مجموعه داده : 1.03 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/pt

• توضیحات پیکربندی : مجموعه داده Wiki40B برای pt.

• حجم مجموعه داده : 1.08 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ru

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ru.

• حجم مجموعه داده : 4.13 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/es

• توضیحات پیکربندی : مجموعه داده Wiki40B برای es.

• حجم مجموعه داده : 2.70 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/th

• توضیحات پیکربندی : مجموعه داده Wiki40B برای th.

• حجم مجموعه داده : 326.29 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/tr

• توضیحات پیکربندی : مجموعه داده Wiki40B برای tr.

• حجم مجموعه داده : 308.87 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/bg

• توضیحات پیکربندی : مجموعه داده Wiki40B برای bg.

• حجم مجموعه داده : 433.20 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ca

• توضیحات پیکربندی : مجموعه داده Wiki40B برای حدودا.

• حجم مجموعه داده : 753.00 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/cs

• توضیحات پیکربندی : مجموعه داده Wiki40B برای cs.

• حجم مجموعه داده : 631.84 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/da

• توضیحات پیکربندی : مجموعه داده Wiki40B برای da.

• حجم مجموعه داده : 240.51 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/el

• توضیحات پیکربندی : مجموعه داده Wiki40B برای el.

• حجم مجموعه داده : 524.77 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/et

• توضیحات پیکربندی : مجموعه داده Wiki40B برای et.

• حجم مجموعه داده : 184.07 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/fa

• توضیحات پیکربندی : مجموعه داده Wiki40B برای fa.

• حجم مجموعه داده : 482.55 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/fi

• توضیحات پیکربندی : مجموعه داده Wiki40B برای fi.

• حجم مجموعه داده : 534.13 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/he

• توضیحات پیکربندی : مجموعه داده Wiki40B برای او.

• حجم مجموعه داده : 869.51 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/hi

• توضیحات پیکربندی : مجموعه داده Wiki40B برای سلام.

• حجم مجموعه داده : 277.56 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/hr

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ساعت.

• حجم مجموعه داده : 235.58 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/hu

• توضیحات پیکربندی : مجموعه داده Wiki40B برای hu.

• حجم مجموعه داده : 634.25 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/id

• توضیحات پیکربندی : مجموعه داده Wiki40B برای شناسه.

• حجم مجموعه داده : 334.06 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/lt

• توضیحات پیکربندی : مجموعه داده Wiki40B برای lt.

• حجم مجموعه داده : 140.46 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/lv

• توضیحات پیکربندی : مجموعه داده Wiki40B برای lv.

• حجم مجموعه داده : 80.07 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ms

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ms.

• حجم مجموعه داده : 142.49 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/no

• توضیحات پیکربندی : مجموعه داده Wiki40B برای شماره.

• حجم مجموعه داده : 382.03 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/ro

• توضیحات پیکربندی : مجموعه داده Wiki40B برای ro.

• حجم مجموعه داده : 319.68 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/sk

• توضیحات پیکربندی : مجموعه داده Wiki40B برای sk.

• حجم مجموعه داده : 170.20 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/sl

• توضیحات پیکربندی : مجموعه داده Wiki40B برای sl.

• حجم مجموعه داده : 157.38 MiB

• ذخیره خودکار ( مستندات ): بله (تست، اعتبارسنجی)، فقط زمانی که shuffle_files=False (قطار)

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/sr

• توضیحات پیکربندی : مجموعه داده Wiki40B برای sr.

• حجم مجموعه داده : 582.20 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/sv

• توضیحات پیکربندی : مجموعه داده Wiki40B برای sv.

• حجم مجموعه داده : 613.62 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/tl

• توضیحات پیکربندی : مجموعه داده Wiki40B برای tl.

• حجم مجموعه داده : 29.04 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/uk

• توضیحات پیکربندی : مجموعه داده Wiki40B برای انگلستان.

• حجم مجموعه داده : 1.67 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):

wiki40b/vi

• توضیحات پیکربندی : مجموعه داده Wiki40B برای vi.

• حجم مجموعه داده : 497.70 MiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• مثال‌ها ( tfds.as_dataframe ):