- Descrizione :
Traduci il set di dati in base ai dati di statmt.org.
Esistono versioni per i diversi anni utilizzando una combinazione di più origini dati. Il wmt_translate
base consente di creare la propria configurazione per scegliere la propria coppia di dati / lingua creando un tfds.translate.wmt.WmtConfig
personalizzato.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Homepage : http://www.statmt.org/wmt15/translation-task.html
Codice sorgente :
tfds.translate.Wmt15Translate
Versioni :
-
1.0.0
(predefinito): nessuna nota di rilascio.
-
Dimensioni set di dati :
Unknown size
Istruzioni per il download manuale : questo set di dati richiede di scaricare manualmente i dati di origine in
download_config.manual_dir
(il valore predefinito è~/tensorflow_datasets/downloads/manual/
):
Alcune delle configurazioni di wmt qui, richiedono un download manuale. Per favore guarda in wmt.py per vedere il percorso esatto (e il nome del file) che deve essere scaricato.Memorizzazione automatica nella cache ( documentazione ): sconosciuta
Citazione :
@InProceedings{bojar-EtAl:2015:WMT,
author = {Bojar, Ond
{r}ej and Chatterjee, Rajen and Federmann, Christian and Haddow, Barry and Huck, Matthias and Hokamp, Chris and Koehn, Philipp and Logacheva, Varvara and Monz, Christof and Negri, Matteo and Post, Matt and Scarton, Carolina and Specia, Lucia and Turchi, Marco},
title = {Findings of the 2015 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
month = {September},
year = {2015},
address = {Lisbon, Portugal},
publisher = {Association for Computational Linguistics},
pages = {1--46},
url = {http://aclweb.org/anthology/W15-3001}
}
- Figura ( tfds.show_examples ): non supportato.
wmt15_translate / cs-en (configurazione predefinita)
Descrizione configurazione : set di dati dell'attività di traduzione cs-en WMT 2015.
Dimensioni download :
1.62 GiB
Divisioni :
Diviso | Esempi |
---|---|
'test' | 2.656 |
'train' | 15.793.126 |
'validation' | 3.003 |
- Caratteristiche :
Translation({
'cs': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Chiavi supervisionate (vedere
as_supervised
doc ):('cs', 'en')
Esempi ( tfds.as_dataframe ):
wmt15_translate / de-en
Descrizione della configurazione : set di dati dell'attività di traduzione de-en WMT 2015.
Dimensioni download :
1.62 GiB
Divisioni :
Diviso | Esempi |
---|---|
'test' | 2.169 |
'train' | 4.522.998 |
'validation' | 3.003 |
- Caratteristiche :
Translation({
'de': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Chiavi supervisionate (Vedi
as_supervised
doc ):('de', 'en')
Esempi ( tfds.as_dataframe ):
wmt15_translate / fi-en
Descrizione configurazione : set di dati dell'attività di traduzione fi-en WMT 2015.
Dimensioni download :
260.51 MiB
Divisioni :
Diviso | Esempi |
---|---|
'test' | 1.370 |
'train' | 2.073.394 |
'validation' | 1.500 |
- Caratteristiche :
Translation({
'en': Text(shape=(), dtype=tf.string),
'fi': Text(shape=(), dtype=tf.string),
})
Chiavi supervisionate (Vedi
as_supervised
doc ):('fi', 'en')
Esempi ( tfds.as_dataframe ):
wmt15_translate / fr-en
Descrizione configurazione : set di dati dell'attività di traduzione fr-en WMT 2015.
Dimensioni download :
6.24 GiB
Divisioni :
Diviso | Esempi |
---|---|
'test' | 1.500 |
'train' | 40.853.298 |
'validation' | 4.503 |
- Caratteristiche :
Translation({
'en': Text(shape=(), dtype=tf.string),
'fr': Text(shape=(), dtype=tf.string),
})
Chiavi supervisionate (Vedi
as_supervised
doc ):('fr', 'en')
Esempi ( tfds.as_dataframe ):
wmt15_translate / ru-en
Descrizione configurazione : set di dati dell'attività di traduzione ru-en WMT 2015.
Dimensioni download :
1.02 GiB
Divisioni :
Diviso | Esempi |
---|---|
'test' | 2.818 |
'train' | 2.495.081 |
'validation' | 3.003 |
- Caratteristiche :
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Chiavi supervisionate (Vedi
as_supervised
doc ):('ru', 'en')
Esempi ( tfds.as_dataframe ):