wiki40b

• Описание :

Текст очистки для более чем 40 языков Википедии, выпуски страниц соответствуют сущностям. Наборы данных разделены на обучение/разработку/тестирование для каждого языка. Набор данных очищается путем фильтрации страниц для удаления страниц с неоднозначностью, страниц перенаправления, удаленных страниц и страниц, не являющихся сущностями. Каждый пример содержит идентификатор объекта в викиданных и полную статью в Википедии после обработки страницы, которая удаляет несодержательные разделы и структурированные объекты. Языковые модели, обученные в этом корпусе, включая 41 одноязычную модель и 2 многоязычные модели, можно найти по адресу https://tfhub.dev/google/collections/. вики40б-лм/1.

• Дополнительная документация : изучить документы с кодом north_east

• Домашняя страница : https://research.google/pubs/pub49029/

• Исходный код : tfds.text.Wiki40b

• Версии :

  • 1.3.0 (по умолчанию): нет примечаний к выпуску.

• Размер загрузки : Unknown size

• Структура функции :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Ключи под наблюдением (см . документ as_supervised ): None

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (конфигурация по умолчанию)

• Описание конфигурации : набор данных Wiki40B для en.

• Размер набора данных : 9.91 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ar

• Описание конфигурации : набор данных Wiki40B для ar.

• Размер набора данных : 833.20 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/zh-сп

• Описание конфигурации : набор данных Wiki40B для zh-cn.

• Размер набора данных : 985.53 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ж-тв

• Описание конфигурации : набор данных Wiki40B для zh-tw.

• Размер набора данных : 986.45 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/nl

• Описание конфигурации : набор данных Wiki40B для nl.

• Размер набора данных : 961.82 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/fr

• Описание конфигурации : набор данных Wiki40B для фр.

• Размер набора данных : 3.37 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/de

• Описание конфигурации : набор данных Wiki40B для de.

• Размер набора данных : 4.78 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/it

• Описание конфигурации : набор данных Wiki40B для него.

• Размер набора данных : 2.00 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ja

• Описание конфигурации : набор данных Wiki40B для ja.

• Размер набора данных : 2.19 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ко

• Описание конфигурации : набор данных Wiki40B для ko.

• Размер набора данных : 453.98 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/pl

• Описание конфигурации : набор данных Wiki40B для пл.

• Размер набора данных : 1.03 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/pt

• Описание конфигурации : набор данных Wiki40B для pt.

• Размер набора данных : 1.08 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ru

• Описание конфига: Датасет Wiki40B для ru.

• Размер набора данных : 4.13 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/es

• Описание конфигурации : набор данных Wiki40B для es.

• Размер набора данных : 2.70 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/th

• Описание конфигурации : набор данных Wiki40B для th.

• Размер набора данных : 326.29 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/tr

• Описание конфигурации : набор данных Wiki40B для tr.

• Размер набора данных : 308.87 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/bg

• Описание конфигурации : набор данных Wiki40B для bg.

• Размер набора данных : 433.20 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ca

• Описание конфигурации : набор данных Wiki40B для ок.

• Размер набора данных : 753.00 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/cs

• Описание конфигурации : набор данных Wiki40B для cs.

• Размер набора данных : 631.84 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/да

• Описание конфигурации : набор данных Wiki40B для da.

• Размер набора данных : 240.51 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/эль

• Описание конфигурации : набор данных Wiki40B для эл.

• Размер набора данных : 524.77 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/et

• Описание конфигурации : набор данных Wiki40B для et.

• Размер набора данных : 184.07 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/fa

• Описание конфигурации : набор данных Wiki40B для fa.

• Размер набора данных : 482.55 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/fi

• Описание конфигурации : набор данных Wiki40B для fi.

• Размер набора данных : 534.13 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/he

• Описание конфигурации : набор данных Wiki40B для he.

• Размер набора данных : 869.51 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/привет

• Описание конфигурации : набор данных Wiki40B для привет.

• Размер набора данных : 277.56 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

вики40б/ч

• Описание конфигурации : набор данных Wiki40B для hr.

• Размер набора данных : 235.58 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/hu

• Описание конфигурации : набор данных Wiki40B для hu.

• Размер набора данных : 634.25 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/id

• Описание конфигурации : набор данных Wiki40B для id.

• Размер набора данных : 334.06 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/lt

• Описание конфигурации : набор данных Wiki40B для lt.

• Размер набора данных : 140.46 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/lv

• Описание конфигурации : набор данных Wiki40B для lv.

• Размер набора данных : 80.07 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

вики40б/мс

• Описание конфигурации : набор данных Wiki40B для ms.

• Размер набора данных : 142.49 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/нет

• Описание конфигурации : набор данных Wiki40B для №.

• Размер набора данных : 382.03 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ro

• Описание конфигурации : набор данных Wiki40B для ro.

• Размер набора данных : 319.68 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ск

• Описание конфигурации : набор данных Wiki40B для sk.

• Размер набора данных : 170.20 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/sl

• Описание конфигурации : набор данных Wiki40B для sl.

• Размер набора данных : 157.38 MiB .

• Автоматическое кэширование ( документация ): да (тест, проверка), только если shuffle_files=False (поезд)

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/ср

• Описание конфигурации : набор данных Wiki40B для sr.

• Размер набора данных : 582.20 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/sv

• Описание конфигурации : набор данных Wiki40B для sv.

• Размер набора данных : 613.62 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/tl

• Описание конфигурации : набор данных Wiki40B для tl.

• Размер набора данных : 29.04 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/uk

• Описание конфигурации : набор данных Wiki40B для Великобритании.

• Размер набора данных : 1.67 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

wiki40b/vi

• Описание конфигурации : набор данных Wiki40B для vi.

• Размер набора данных : 497.70 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):