wiki40b

• Tanım :

Sayfaların 40+ Wikipedia dili sürümleri için temiz metin, varlıklara karşılık gelir. Veri kümelerinde dil başına eğitim / geliştirme / test bölümleri vardır. Veri kümesi, belirsizliği giderme sayfalarını kaldırmak, sayfaları yeniden yönlendirmek, silinmiş sayfalar ve varlık olmayan sayfaları kaldırmak için sayfa filtreleme ile temizlenir. Her örnek, varlığın wikidata kimliğini ve içerik olmayan bölümleri ve yapılandırılmış nesneleri kaldıran sayfa işlemeden sonraki tam Wikipedia makalesini içerir. Bu külliyatta eğitilen dil modelleri - 41 tek dilli model ve 2 çok dilli model dahil - https: //tfhub.dev/google/collections/wiki40b-lm/1 adresinde bulunabilir.

• Ana Sayfa : https://research.google/pubs/pub49029/

• Kaynak kodu : tfds.text.Wiki40b

• Sürümler :

  • 1.3.0 (varsayılan): Sürüm notu yok.

• İndirme boyutu : Unknown size

• Özellikler :

FeaturesDict({
    'text': Text(shape=(), dtype=tf.string),
    'version_id': Text(shape=(), dtype=tf.string),
    'wikidata_id': Text(shape=(), dtype=tf.string),
})

• Denetlenen anahtarlar (bkz. as_supervised bakın): None

• Alıntı :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

• Şekil ( tfds.show_examples ): Desteklenmiyor.

wiki40b / en (varsayılan yapılandırma)

• Yapılandırma açıklaması : tr için Wiki40B veri kümesi.

• Veri kümesi boyutu : 9.91 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ar

• Yapılandırma açıklaması : ar için Wiki40B veri kümesi.

• Veri 833.20 MiB boyutu : 833.20 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / zh-cn

• Yapılandırma açıklaması : zh-cn için Wiki40B veri kümesi.

• Veri 985.53 MiB boyutu : 985.53 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / zh-tw

• Yapılandırma açıklaması : zh-tw için Wiki40B veri kümesi.

• Veri 986.45 MiB boyutu : 986.45 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / nl

• Yapılandırma açıklaması : nl için Wiki40B veri kümesi.

• Veri 961.82 MiB boyutu : 961.82 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / fr

• Yapılandırma açıklaması : fr için Wiki40B veri kümesi.

• Veri kümesi boyutu : 3.37 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / de

• Yapılandırma açıklaması : de için Wiki40B veri kümesi.

• Veri kümesi boyutu : 4.78 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / it

• Yapılandırma açıklaması : Bunun için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.00 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ja

• Yapılandırma açıklaması : ja için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.19 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ko

• Yapılandırma açıklaması : ko için Wiki40B veri kümesi.

• Veri 453.98 MiB boyutu : 453.98 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / pl

• Yapılandırma açıklaması : pl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.03 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / pt

• Yapılandırma açıklaması : pt için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.08 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ru

• Yapılandırma açıklaması : ru için Wiki40B veri kümesi.

• Veri kümesi boyutu : 4.13 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / es

• Yapılandırma açıklaması : es için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.70 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / inci

• Yapılandırma açıklaması : th için Wiki40B veri kümesi.

• Veri 326.29 MiB boyutu : 326.29 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / tr

• Yapılandırma açıklaması : tr için Wiki40B veri kümesi.

• Veri 308.87 MiB boyutu : 308.87 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / bg

• Yapılandırma açıklaması : bg için Wiki40B veri kümesi.

• Veri 433.20 MiB boyutu : 433.20 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ca

• Yapılandırma açıklaması : ca. için Wiki40B veri kümesi.

• Veri 753.00 MiB boyutu : 753.00 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / cs

• Yapılandırma açıklaması : cs için Wiki40B veri kümesi.

• Veri 631.84 MiB boyutu : 631.84 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / da

• Yapılandırma açıklaması : da için Wiki40B veri kümesi.

• Veri 240.51 MiB boyutu : 240.51 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim) olduğunda

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / el

• Yapılandırma açıklaması : El için Wiki40B veri kümesi.

• Veri 524.77 MiB boyutu : 524.77 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / et

• Yapılandırma açıklaması : et. İçin Wiki40B veri kümesi.

• Veri 184.07 MiB boyutu : 184.07 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim) olduğunda

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / fa

• Yapılandırma açıklaması : fa için Wiki40B veri kümesi.

• Veri 482.55 MiB boyutu : 482.55 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / fi

• Yapılandırma açıklaması : fi için Wiki40B veri kümesi.

• Veri 534.13 MiB boyutu : 534.13 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / he

• Yapılandırma açıklaması : Onun için Wiki40B veri kümesi.

• Veri 869.51 MiB boyutu : 869.51 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / selam

• Yapılandırma açıklaması : Merhaba için Wiki40B veri kümesi.

• Veri 277.56 MiB boyutu : 277.56 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / hr

• Yapılandırma açıklaması : hr için Wiki40B veri kümesi.

• Veri 235.58 MiB boyutu : 235.58 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim)

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / hu

• Yapılandırma açıklaması : hu için Wiki40B veri kümesi.

• Veri 634.25 MiB boyutu : 634.25 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / id

• Yapılandırma açıklaması : id için Wiki40B veri kümesi.

• Veri 334.06 MiB boyutu : 334.06 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / lt

• Yapılandırma açıklaması : lt için Wiki40B veri kümesi.

• Veri 140.46 MiB boyutu : 140.46 MiB

• Otomatik önbelleğe alınan ( belgeler ): Evet

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / lv

• Yapılandırma açıklaması : lv için Wiki40B veri kümesi.

• Veri 80.07 MiB boyutu : 80.07 MiB

• Otomatik önbelleğe alınan ( belgeler ): Evet

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ms

• Yapılandırma açıklaması : ms için Wiki40B veri kümesi.

• Veri 142.49 MiB boyutu : 142.49 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim)

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / hayır

• Yapılandırma açıklaması : Hayır için Wiki40B veri kümesi.

• Veri 382.03 MiB boyutu : 382.03 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / ro

• Yapılandırma açıklaması : ro için Wiki40B veri kümesi.

• Veri 319.68 MiB boyutu : 319.68 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / sk

• Yapılandırma açıklaması : sk için Wiki40B veri kümesi.

• Veri 170.20 MiB boyutu : 170.20 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim) olduğunda

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / sl

• Yapılandırma açıklaması : sl için Wiki40B veri kümesi.

• Veri 157.38 MiB boyutu : 157.38 MiB

• Otomatik önbelleğe alınan ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (eğitim) olduğunda

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / sr

• Yapılandırma açıklaması : sr için Wiki40B veri kümesi.

• Veri 582.20 MiB boyutu : 582.20 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / sv

• Yapılandırma açıklaması : sv için Wiki40B veri kümesi.

• Veri 613.62 MiB boyutu : 613.62 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / tl

• Yapılandırma açıklaması : tl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 29.04 MiB

• Otomatik önbelleğe alınan ( belgeler ): Evet

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / uk

• Yapılandırma açıklaması : İngiltere için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.67 GiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b / vi

• Yapılandırma açıklaması : vi için Wiki40B veri kümesi.

• Veri 497.70 MiB boyutu : 497.70 MiB

• Otomatik önbelleğe alınan ( belgeler ): Hayır

• Bölmeler :

• Örnekler ( tfds.as_dataframe ):