एमएल समुदाय दिवस 9 नवंबर है! TensorFlow, JAX से नई जानकारी के लिए हमसे जुड़ें, और अधिक जानें

एलएम1बी

  • विवरण:

सांख्यिकीय भाषा मॉडलिंग में प्रगति को मापने के लिए उपयोग किए जाने वाले बेंचमार्क कॉर्पस। प्रशिक्षण डेटा में इसके लगभग एक अरब शब्द हैं।

  • होमपेज: http://www.statmt.org/lm-benchmark/

  • स्रोत कोड: tfds.text.Lm1b

  • संस्करण:

    • 1.1.0 (डिफ़ॉल्ट): नहीं रिलीज नोट्स।
  • डाउनलोड का आकार: 1.67 GiB

  • डेटासेट का आकार: 4.40 GiB

  • ऑटो-कैश ( प्रलेखन ): नहीं

  • विभाजन:

विभाजित करना उदाहरण
'test' 306,688
'train' 30,301,028
  • विशेषताएं:
FeaturesDict({
    'text': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@article{DBLP:journals/corr/ChelbaMSGBK13,
  author    = {Ciprian Chelba and
               Tomas Mikolov and
               Mike Schuster and
               Qi Ge and
               Thorsten Brants and
               Phillipp Koehn},
  title     = {One Billion Word Benchmark for Measuring Progress in Statistical Language
               Modeling},
  journal   = {CoRR},
  volume    = {abs/1312.3005},
  year      = {2013},
  url       = {http://arxiv.org/abs/1312.3005},
  archivePrefix = {arXiv},
  eprint    = {1312.3005},
  timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
  biburl    = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}