wiki40b

• Descrizione :

Il testo di pulizia per oltre 40 edizioni linguistiche delle pagine di Wikipedia corrisponde alle entità. I set di dati hanno suddivisioni training/sviluppo/test per lingua. Il set di dati viene ripulito mediante il filtraggio delle pagine per rimuovere pagine di disambiguazione, pagine di reindirizzamento, pagine eliminate e pagine non di entità. Ogni esempio contiene l'ID wikidata dell'entità e l'articolo completo di Wikipedia dopo l'elaborazione della pagina che rimuove le sezioni non di contenuto e gli oggetti strutturati. I modelli linguistici addestrati su questo corpus, inclusi 41 modelli monolingui e 2 modelli multilingue, possono essere trovati su https://tfhub.dev/google/collections/wiki40b-lm/1

• Documentazione aggiuntiva : esplora documenti con codice north_east

• Pagina iniziale : https://research.google/pubs/pub49029/

• Codice sorgente : tfds.text.Wiki40b

• Versioni :

  • 1.3.0 (impostazione predefinita): nessuna nota di rilascio.

• Dimensioni del download : Unknown size

• Struttura delle caratteristiche :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (vedi il documento as_supervised ): None

• Figura ( tfds.show_examples ): non supportato.

• Citazione :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (configurazione predefinita)

• Descrizione configurazione : set di dati Wiki40B per en.

• Dimensione del set di dati : 9.91 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ar

• Descrizione configurazione : set di dati Wiki40B per ar.

• Dimensione del set di dati : 833.20 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/zh-cn

• Descrizione configurazione : set di dati Wiki40B per zh-cn.

• Dimensione del set di dati : 985.53 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/zh-tw

• Descrizione configurazione : set di dati Wiki40B per zh-tw.

• Dimensione del set di dati : 986.45 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/nl

• Descrizione configurazione : set di dati Wiki40B per nl.

• Dimensione del set di dati : 961.82 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/fr

• Descrizione configurazione : set di dati Wiki40B per fr.

• Dimensioni del set di dati : 3.37 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/de

• Descrizione configurazione : set di dati Wiki40B per de.

• Dimensioni del set di dati : 4.78 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/it

• Descrizione della configurazione : set di dati Wiki40B per questo.

• Dimensione del set di dati : 2.00 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ja

• Descrizione della configurazione : set di dati Wiki40B per ja.

• Dimensione del set di dati : 2.19 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ko

• Descrizione della configurazione : set di dati Wiki40B per ko.

• Dimensione del set di dati : 453.98 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/pl

• Descrizione configurazione : set di dati Wiki40B per pl.

• Dimensione del set di dati : 1.03 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/pt

• Descrizione configurazione : set di dati Wiki40B per pt.

• Dimensione del set di dati : 1.08 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ru

• Descrizione configurazione : set di dati Wiki40B per ru.

• Dimensioni del set di dati : 4.13 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/es

• Descrizione configurazione : set di dati Wiki40B per es.

• Dimensioni del set di dati : 2.70 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/th

• Descrizione configurazione : set di dati Wiki40B per th.

• Dimensione del set di dati : 326.29 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/tr

• Descrizione configurazione : set di dati Wiki40B per tr.

• Dimensione del set di dati : 308.87 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/bg

• Descrizione della configurazione : set di dati Wiki40B per bg.

• Dimensione del set di dati : 433.20 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ca

• Descrizione della configurazione : set di dati Wiki40B per ca.

• Dimensione del set di dati : 753.00 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/cs

• Descrizione configurazione : set di dati Wiki40B per cs.

• Dimensione del set di dati : 631.84 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/da

• Descrizione configurazione : set di dati Wiki40B per da.

• Dimensione del set di dati : 240.51 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/el

• Descrizione configurazione : set di dati Wiki40B per el.

• Dimensione del set di dati : 524.77 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/et

• Descrizione configurazione : set di dati Wiki40B per et.

• Dimensione del set di dati : 184.07 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/fa

• Descrizione configurazione : set di dati Wiki40B per fa.

• Dimensione del set di dati : 482.55 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/fi

• Descrizione configurazione : set di dati Wiki40B per fi.

• Dimensione del set di dati : 534.13 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/lui

• Descrizione configurazione : set di dati Wiki40B per lui.

• Dimensione del set di dati : 869.51 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ciao

• Descrizione configurazione : set di dati Wiki40B per hi.

• Dimensione del set di dati : 277.56 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ora

• Descrizione configurazione : set di dati Wiki40B per hr.

• Dimensione del set di dati : 235.58 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/hu

• Descrizione della configurazione : set di dati Wiki40B per hu.

• Dimensione del set di dati : 634.25 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/id

• Descrizione della configurazione : set di dati Wiki40B per id.

• Dimensione del set di dati : 334.06 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/lt

• Descrizione configurazione : set di dati Wiki40B per lt.

• Dimensione del set di dati : 140.46 MiB

• Memorizzazione nella cache automatica ( documentazione ): sì

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/lv

• Descrizione configurazione : set di dati Wiki40B per lv.

• Dimensione del set di dati : 80.07 MiB

• Memorizzazione nella cache automatica ( documentazione ): sì

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ms

• Descrizione configurazione : set di dati Wiki40B per ms.

• Dimensione del set di dati : 142.49 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/n

• Descrizione configurazione : set di dati Wiki40B per n.

• Dimensione del set di dati : 382.03 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/ro

• Descrizione configurazione : set di dati Wiki40B per ro.

• Dimensione del set di dati : 319.68 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/sk

• Descrizione configurazione : set di dati Wiki40B per sk.

• Dimensione del set di dati : 170.20 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/sl

• Descrizione configurazione : set di dati Wiki40B per sl.

• Dimensione del set di dati : 157.38 MiB

• Memorizzazione nella cache automatica ( documentazione ): Sì (test, convalida), solo quando shuffle_files=False (train)

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/sr

• Descrizione configurazione : set di dati Wiki40B per sr.

• Dimensione del set di dati : 582.20 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/sv

• Descrizione configurazione : set di dati Wiki40B per sv.

• Dimensione del set di dati : 613.62 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/tl

• Descrizione configurazione : set di dati Wiki40B per tl.

• Dimensione del set di dati : 29.04 MiB

• Memorizzazione nella cache automatica ( documentazione ): sì

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/regno Unito

• Descrizione della configurazione : set di dati Wiki40B per il Regno Unito.

• Dimensioni del set di dati : 1.67 GiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):

wiki40b/vi

• Descrizione configurazione : set di dati Wiki40B per vi.

• Dimensione del set di dati : 497.70 MiB

• Memorizzazione nella cache automatica ( documentazione ): No

• Divide :

• Esempi ( tfds.as_dataframe ):