wiki40b

• Descrição :

O texto de limpeza para mais de 40 edições de páginas em idiomas da Wikipedia corresponde a entidades. Os conjuntos de dados têm divisões de treinamento/desenvolvimento/teste por idioma. O conjunto de dados é limpo pela filtragem de páginas para remover páginas de desambiguação, páginas de redirecionamento, páginas excluídas e páginas que não são de entidade. Cada exemplo contém o ID wikidata da entidade e o artigo completo da Wikipedia após o processamento da página que remove seções sem conteúdo e objetos estruturados. Os modelos de linguagem treinados neste corpus - incluindo 41 modelos monolíngues e 2 modelos multilíngues - podem ser encontrados em https://tfhub.dev/google/collections/wiki40b-lm/1

• Documentação adicional : Explore artigos com código north_east

• Página inicial : https://research.google/pubs/pub49029/

• Código fonte : tfds.text.Wiki40b

• Versões :

  • 1.3.0 (padrão): Sem notas de versão.

• Tamanho do download : Unknown size

• Estrutura de recursos :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• Documentação de recursos :

• Chaves supervisionadas (consulte o documento as_supervised ): None

• Figura ( tfds.show_examples ): Não suportado.

• Citação :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (configuração padrão)

• Descrição da configuração : conjunto de dados Wiki40B para en.

• Tamanho do conjunto de dados : 9.91 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ar

• Descrição da configuração : conjunto de dados Wiki40B para ar.

• Tamanho do conjunto de dados : 833.20 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/zh-cn

• Descrição da configuração : conjunto de dados Wiki40B para zh-cn.

• Tamanho do conjunto de dados : 985.53 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/zh-tw

• Descrição da configuração : conjunto de dados Wiki40B para zh-tw.

• Tamanho do conjunto de dados : 986.45 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/nl

• Descrição da configuração : conjunto de dados Wiki40B para nl.

• Tamanho do conjunto de dados : 961.82 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/fr

• Descrição da configuração : conjunto de dados Wiki40B para fr.

• Tamanho do conjunto de dados : 3.37 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/de

• Descrição da configuração : conjunto de dados Wiki40B para de.

• Tamanho do conjunto de dados : 4.78 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/it

• Descrição da configuração : conjunto de dados Wiki40B para ele.

• Tamanho do conjunto de dados : 2.00 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ja

• Descrição da configuração : conjunto de dados Wiki40B para ja.

• Tamanho do conjunto de dados : 2.19 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ko

• Descrição da configuração : conjunto de dados Wiki40B para ko.

• Tamanho do conjunto de dados : 453.98 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/pl

• Descrição da configuração : conjunto de dados Wiki40B para pl.

• Tamanho do conjunto de dados : 1.03 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/pt

• Descrição da configuração : conjunto de dados Wiki40B para pt.

• Tamanho do conjunto de dados : 1.08 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ru

• Descrição da configuração : conjunto de dados Wiki40B para ru.

• Tamanho do conjunto de dados : 4.13 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/es

• Descrição da configuração : conjunto de dados Wiki40B para es.

• Tamanho do conjunto de dados : 2.70 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/th

• Descrição da configuração : conjunto de dados Wiki40B para th.

• Tamanho do conjunto de dados : 326.29 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/tr

• Descrição da configuração : conjunto de dados Wiki40B para tr.

• Tamanho do conjunto de dados : 308.87 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/bg

• Descrição da configuração : conjunto de dados Wiki40B para bg.

• Tamanho do conjunto de dados : 433.20 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ca

• Descrição da configuração : conjunto de dados Wiki40B para ca.

• Tamanho do conjunto de dados : 753.00 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/cs

• Descrição da configuração : conjunto de dados Wiki40B para cs.

• Tamanho do conjunto de dados : 631.84 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/da

• Descrição da configuração : conjunto de dados Wiki40B para da.

• Tamanho do conjunto de dados : 240.51 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/el

• Descrição da configuração : conjunto de dados Wiki40B para el.

• Tamanho do conjunto de dados : 524.77 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/et

• Descrição da configuração : conjunto de dados Wiki40B para et.

• Tamanho do conjunto de dados : 184.07 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/fa

• Descrição da configuração : conjunto de dados Wiki40B para fa.

• Tamanho do conjunto de dados : 482.55 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/fi

• Descrição da configuração : conjunto de dados Wiki40B para fi.

• Tamanho do conjunto de dados : 534.13 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ele

• Descrição da configuração : conjunto de dados Wiki40B para he.

• Tamanho do conjunto de dados : 869.51 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/oi

• Descrição da configuração : conjunto de dados Wiki40B para hi.

• Tamanho do conjunto de dados : 277.56 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/hora

• Descrição da configuração : conjunto de dados Wiki40B para hr.

• Tamanho do conjunto de dados : 235.58 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/hu

• Descrição da configuração : conjunto de dados Wiki40B para hu.

• Tamanho do conjunto de dados : 634.25 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/id

• Descrição da configuração : conjunto de dados Wiki40B para id.

• Tamanho do conjunto de dados : 334.06 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/lt

• Descrição da configuração : conjunto de dados Wiki40B para lt.

• Tamanho do conjunto de dados : 140.46 MiB

• Armazenado em cache automaticamente ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/lv

• Descrição da configuração : conjunto de dados Wiki40B para lv.

• Tamanho do conjunto de dados : 80.07 MiB

• Armazenado em cache automaticamente ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ms

• Descrição da configuração : conjunto de dados Wiki40B para ms.

• Tamanho do conjunto de dados : 142.49 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/não

• Descrição da configuração : conjunto de dados Wiki40B para no.

• Tamanho do conjunto de dados : 382.03 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/ro

• Descrição da configuração : conjunto de dados Wiki40B para ro.

• Tamanho do conjunto de dados : 319.68 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/sk

• Descrição da configuração : conjunto de dados Wiki40B para sk.

• Tamanho do conjunto de dados : 170.20 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/sl

• Descrição da configuração : conjunto de dados Wiki40B para sl.

• Tamanho do conjunto de dados : 157.38 MiB

• Armazenado em cache automaticamente ( documentação ): Sim (teste, validação), Somente quando shuffle_files=False (trem)

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/sr

• Descrição da configuração : conjunto de dados Wiki40B para sr.

• Tamanho do conjunto de dados : 582.20 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/sv

• Descrição da configuração : conjunto de dados Wiki40B para sv.

• Tamanho do conjunto de dados : 613.62 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/tl

• Descrição da configuração : conjunto de dados Wiki40B para tl.

• Tamanho do conjunto de dados : 29.04 MiB

• Armazenado em cache automaticamente ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/reino unido

• Descrição da configuração : conjunto de dados Wiki40B para o Reino Unido.

• Tamanho do conjunto de dados : 1.67 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

wiki40b/vi

• Descrição da configuração : conjunto de dados Wiki40B para vi.

• Tamanho do conjunto de dados : 497.70 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):