wmt15_translate

  • Descrizione :

Traduci il set di dati in base ai dati di statmt.org.

Esistono versioni per i diversi anni utilizzando una combinazione di più fonti di dati. La base wmt_translate ti consente di creare la tua configurazione per scegliere la tua coppia dati/lingua creando un tfds.translate.wmt.WmtConfig personalizzato.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)
@InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}

wmt15_translate/cs-en (configurazione predefinita)

  • Descrizione della configurazione : set di dati dell'attività di traduzione cs-en WMT 2015.

  • Dimensione del download : 1.62 GiB

  • Dimensione del set di dati: 2.89 GiB

  • Divisioni :

Diviso Esempi
'test' 2.656
'train' 15.793.126
'validation' 3.003
  • Struttura delle caratteristiche :
Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
Traduzione
cs Testo corda
it Testo corda

wmt15_translate/de-en

  • Descrizione della configurazione : set di dati dell'attività di traduzione de-en WMT 2015.

  • Dimensione del download : 1.62 GiB

  • Dimensione del set di dati: 1.37 GiB

  • Divisioni :

Diviso Esempi
'test' 2.169
'train' 4.522.998
'validation' 3.003
  • Struttura delle caratteristiche :
Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
Traduzione
de Testo corda
it Testo corda

wmt15_translate/fi-it

  • Descrizione della configurazione : set di dati dell'attività di traduzione fi-en WMT 2015.

  • Dimensione del download : 260.51 MiB

  • Dimensione del set di dati: 623.22 MiB

  • Divisioni :

Diviso Esempi
'test' 1.370
'train' 2.073.394
'validation' 1.500
  • Struttura delle caratteristiche :
Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
Traduzione
it Testo corda
fi Testo corda

wmt15_translate/fr-en

  • Descrizione della configurazione : set di dati dell'attività di traduzione fr-en WMT 2015.

  • Dimensione del download : 6.24 GiB

  • Dimensione del set di dati: 14.65 GiB

  • Divisioni :

Diviso Esempi
'test' 1.500
'train' 40.853.298
'validation' 4.503
  • Struttura delle caratteristiche :
Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
Traduzione
it Testo corda
fr Testo corda

wmt15_translate/ru-en

  • Descrizione della configurazione : set di dati dell'attività di traduzione ru-en WMT 2015.

  • Dimensione del download : 1.02 GiB

  • Dimensione del set di dati: 843.90 MiB

  • Divisioni :

Diviso Esempi
'test' 2.818
'train' 2.495.081
'validation' 3.003
  • Struttura delle caratteristiche :
Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
Traduzione
it Testo corda
ru Testo corda