- תיאור :
קורפוס בנצ'מרק שישמש למדידת התקדמות במודלים סטטיסטיים של שפות. יש לזה כמעט מיליארד מילים בנתוני ההדרכה.
תיעוד נוסף : חקור על ניירות עם קוד
דף הבית : http://www.statmt.org/lm-benchmark/
קוד מקור :
tfds.datasets.lm1b.Builder
גרסאות :
-
1.1.0
(ברירת מחדל): אין הערות שחרור.
-
גודל הורדה :
1.67 GiB
גודל מערך נתונים :
4.40 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 306,688 |
'train' | 30,301,028 |
- מבנה תכונה :
FeaturesDict({
'text': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
טֶקסט | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):('text', 'text')
איור ( tfds.show_examples ): לא נתמך.
דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@article{DBLP:journals/corr/ChelbaMSGBK13,
author = {Ciprian Chelba and
Tomas Mikolov and
Mike Schuster and
Qi Ge and
Thorsten Brants and
Phillipp Koehn},
title = {One Billion Word Benchmark for Measuring Progress in Statistical Language
Modeling},
journal = {CoRR},
volume = {abs/1312.3005},
year = {2013},
url = {http://arxiv.org/abs/1312.3005},
archivePrefix = {arXiv},
eprint = {1312.3005},
timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
bibsource = {dblp computer science bibliography, https://dblp.org}
}