wiki40b

• คำอธิบาย :

ข้อความการล้างข้อมูลสำหรับหน้ารุ่นภาษาวิกิพีเดียมากกว่า 40 หน้าที่สอดคล้องกับเอนทิตี ชุดข้อมูลมีการแบ่งการฝึก/การพัฒนา/การทดสอบสำหรับแต่ละภาษา ชุดข้อมูลถูกล้างโดยการกรองหน้าเพื่อลบหน้าแก้ความกำกวม หน้าเปลี่ยนเส้นทาง หน้าที่ถูกลบ และหน้าที่ไม่ใช่เอนทิตี แต่ละตัวอย่างมีรหัสวิกิข้อมูลของเอนทิตี และบทความวิกิพีเดียแบบเต็มหลังการประมวลผลหน้าที่ลบส่วนที่ไม่ใช่เนื้อหาและวัตถุที่มีโครงสร้าง โมเดลภาษาที่ได้รับการฝึกฝนในคลังข้อมูลนี้ - รวมถึงโมเดลภาษาเดียว 41 รายการ และโมเดลหลายภาษา 2 รายการ - ดูได้ที่ https://tfhub.dev/google/collections/ wiki40b-lm/1.

• เอกสารประกอบเพิ่มเติม : สำรวจเอกสารด้วยรหัส north_east

• หน้าแรก : https://research.google/pubs/pub49029/

• รหัสที่มา : tfds.text.Wiki40b

• รุ่น :

  • 1.3.0 (ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น

• ขนาดการดาวน์โหลด : Unknown size

• โครงสร้างคุณลักษณะ :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• เอกสารคุณสมบัติ :

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• การอ้างอิง :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (การกำหนดค่าเริ่มต้น)

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ en

• ขนาดชุดข้อมูล : 9.91 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ar

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ar

• ขนาดชุดข้อมูล : 833.20 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/zh-cn

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ zh-cn

• ขนาดชุดข้อมูล : 985.53 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/zh-tw

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ zh-tw

• ขนาดชุดข้อมูล : 986.45 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/nl

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ nl

• ขนาดชุดข้อมูล : 961.82 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/fr

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fr.

• ขนาดชุดข้อมูล : 3.37 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/de

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ de

• ขนาดชุดข้อมูล : 4.78 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/it

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับมัน

• ขนาดชุดข้อมูล : 2.00 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ja

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ja

• ขนาดชุดข้อมูล : 2.19 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/โค

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ko

• ขนาดชุดข้อมูล : 453.98 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/pl

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ pl

• ขนาดชุดข้อมูล : 1.03 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/pt

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ pt.

• ขนาดชุดข้อมูล : 1.08 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ru

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ru

• ขนาดชุดข้อมูล : 4.13 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/es

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ es

• ขนาดชุดข้อมูล : 2.70 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/th

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ th.

• ขนาดชุดข้อมูล : 326.29 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/tr

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ tr

• ขนาดชุดข้อมูล : 308.87 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/bg

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ bg

• ขนาดชุดข้อมูล : 433.20 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/แคลิฟอร์เนีย

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับแคลิฟอร์เนีย

• ขนาดชุดข้อมูล : 753.00 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/cs

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ cs

• ขนาดชุดข้อมูล : 631.84 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ดา

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับดา

• ขนาดชุดข้อมูล : 240.51 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/เอล

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ el

• ขนาดชุดข้อมูล : 524.77 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/เอต

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ et

• ขนาดชุดข้อมูล : 184.07 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ฟ้า

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fa

• ขนาดชุดข้อมูล : 482.55 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/fi

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fi

• ขนาดชุดข้อมูล : 534.13 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/เขา

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับเขา

• ขนาดชุดข้อมูล : 869.51 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/สวัสดี

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับสวัสดี

• ขนาดชุดข้อมูล : 277.56 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ชม

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับชั่วโมง

• ขนาดชุดข้อมูล : 235.58 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/hu

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ hu

• ขนาดชุดข้อมูล : 634.25 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/รหัส

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ id

• ขนาดชุดข้อมูล : 334.06 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ลิตร

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ lt

• ขนาดชุดข้อมูล : 140.46 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/เลเวล

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ lv.

• ขนาดชุดข้อมูล : 80.07 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ms

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ms

• ขนาดชุดข้อมูล : 142.49 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ไม่

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับหมายเลข

• ขนาดชุดข้อมูล : 382.03 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ro

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ro

• ขนาดชุดข้อมูล : 319.68 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sk

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sk

• ขนาดชุดข้อมูล : 170.20 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sl

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sl

• ขนาดชุดข้อมูล : 157.38 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ ตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (รถไฟ)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sr

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sr.

• ขนาดชุดข้อมูล : 582.20 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sv

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sv.

• ขนาดชุดข้อมูล : 613.62 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/tl

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ tl

• ขนาดชุดข้อมูล : 29.04 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/สหราชอาณาจักร

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับสหราชอาณาจักร

• ขนาดชุดข้อมูล : 1.67 GiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/vi

• คำอธิบาย การกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ vi

• ขนาดชุดข้อมูล : 497.70 MiB

• แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):