एमएल समुदाय दिवस 9 नवंबर है! TensorFlow, JAX से नई जानकारी के लिए हमसे जुड़ें, और अधिक जानें

ओपुस

  • विवरण:

OPUS वेब से अनुवादित ग्रंथों का एक संग्रह है।

कौन सा डेटा/भाषा युग्म लोड करना है, यह चुनने के लिए अपना स्वयं का कॉन्फ़िगरेशन बनाएं।

config = tfds.translate.opus.OpusConfig(
    version=tfds.core.Version('0.1.0'),
    language_pair=("de", "en"),
    subsets=["GNOME", "EMEA"]
)
builder = tfds.builder("opus", config=config)
  • होमपेज: http://opus.nlpl.eu/

  • स्रोत कोड: tfds.translate.Opus

  • संस्करण:

    • 0.1.0 (डिफ़ॉल्ट): नहीं रिलीज नोट्स।
  • विशेषताएं:

Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
  • पर्यवेक्षित कुंजियों (देखें as_supervised डॉक ): ('de', 'en')

  • चित्रा ( tfds.show_examples ): समर्थित नहीं।

  • प्रशस्ति पत्र:

@inproceedings{Tiedemann2012ParallelData,
  author = {Tiedemann, J},
  title = {Parallel Data, Tools and Interfaces in OPUS},
  booktitle = {LREC}
  year = {2012} }

ओपस/मेडिकल (डिफ़ॉल्ट कॉन्फ़िग)

  • कॉन्फ़िग विवरण: चिकित्सा दस्तावेजों

  • डाउनलोड का आकार: 34.29 MiB

  • डेटासेट का आकार: 188.85 MiB

  • ऑटो-कैश ( प्रलेखन ): केवल जब shuffle_files=False (ट्रेन)

  • विभाजन:

विभाजित करना उदाहरण
'train' 1,108,752

काम/कानून

  • कॉन्फ़िग विवरण: कानून दस्तावेजों

  • डाउनलोड का आकार: 46.99 MiB

  • डेटासेट का आकार: 214.44 MiB

  • ऑटो-कैश ( प्रलेखन ): केवल जब shuffle_files=False (ट्रेन)

  • विभाजन:

विभाजित करना उदाहरण
'train' 719,372

रचना/कुरान

  • कॉन्फ़िग विवरण: कुरान दस्तावेजों

  • डाउनलोड का आकार: 35.42 MiB

  • डेटासेट का आकार: 117.54 MiB

  • ऑटो-कैश ( प्रलेखन ): हाँ

  • विभाजन:

विभाजित करना उदाहरण
'train' 537,128

काम/आईटी

  • कॉन्फ़िग विवरण: आईटी दस्तावेजों

  • डाउनलोड का आकार: 10.33 MiB

  • डेटासेट का आकार: 42.51 MiB

  • ऑटो-कैश ( प्रलेखन ): हाँ

  • विभाजन:

विभाजित करना उदाहरण
'train' 347,817

रचना/उपशीर्षक

  • कॉन्फ़िग विवरण: उपशीर्षक दस्तावेजों

  • डाउनलोड का आकार: 677.64 MiB

  • डेटासेट का आकार: 2.01 GiB

  • ऑटो-कैश ( प्रलेखन ): नहीं

  • विभाजन:

विभाजित करना उदाहरण
'train' २२,५१२,६३९