- Açıklama:
İstatistiksel dil modellemede ilerlemeyi ölçmek için kullanılacak bir kıyaslama derlemi. Bunun eğitim verilerinde neredeyse bir milyar kelime var.
Anasayfa: http://www.statmt.org/lm-benchmark/
Kaynak kodu:
tfds.text.Lm1b
sürümleri:
-
1.1.0
(varsayılan): Hayır sürüm notları.
-
İndirme boyutu:
1.67 GiB
Veri kümesi boyutu:
4.40 GiB
Otomatik önbelleğe ( dokümantasyon ): Hayır
Splits:
Bölmek | Örnekler |
---|---|
'test' | 306.688 |
'train' | 30.301.028 |
- Özellikler:
FeaturesDict({
'text': Text(shape=(), dtype=tf.string),
})
Denetimli tuşları (Bkz
as_supervised
doc ):('text', 'text')
Şekil ( tfds.show_examples ): desteklenmez.
Örnekler ( tfds.as_dataframe ):
- Citation:
@article{DBLP:journals/corr/ChelbaMSGBK13,
author = {Ciprian Chelba and
Tomas Mikolov and
Mike Schuster and
Qi Ge and
Thorsten Brants and
Phillipp Koehn},
title = {One Billion Word Benchmark for Measuring Progress in Statistical Language
Modeling},
journal = {CoRR},
volume = {abs/1312.3005},
year = {2013},
url = {http://arxiv.org/abs/1312.3005},
archivePrefix = {arXiv},
eprint = {1312.3005},
timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
bibsource = {dblp computer science bibliography, https://dblp.org}
}