wmt15_translate

• Descrizione :

Traduci il set di dati in base ai dati di statmt.org.

Esistono versioni per i diversi anni utilizzando una combinazione di più origini dati. wmt_translate base wmt_translate consente di creare la tua configurazione per scegliere la tua coppia di dati / lingua creando un tfds.translate.wmt.WmtConfig personalizzato.

 config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)
 

• Pagina iniziale : http://www.statmt.org/wmt15/translation-task.html

• Codice sorgente : tfds.translate.Wmt15Translate

• Versioni :

  • 1.0.0 (impostazione predefinita): nessuna nota sulla versione.

• Dimensione del set di dati : Unknown size

• Istruzioni per il download manuale : questo set di dati richiede di scaricare manualmente i dati di origine in download_config.manual_dir (il valore predefinito è ~/tensorflow_datasets/download/manual/ ):
  Alcune delle configurazioni di wmt qui richiedono un download manuale. Cerca in wmt.py per vedere il percorso esatto (e il nome del file) che deve essere scaricato.

• Memorizzazione automatica nella cache ( documentazione ): sconosciuto

• Citazione :

 @InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}
 

• Visualizzazione ( tfds.show_examples ): non supportato.

wmt15_translate / cs-en (configurazione predefinita)

• Descrizione della configurazione : set di dati dell'attività di traduzione cs-en 2015 di WMT.

• Dimensione download : 1.62 GiB

• Split :

• Caratteristiche :

 Translation({
    'cs': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('cs', 'en')

wmt15_translate / de-it

• Descrizione della configurazione : set di dati dell'attività di traduzione de-en di WMT 2015.

• Dimensione download : 1.62 GiB

• Split :

• Caratteristiche :

 Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('de', 'en')

wmt15_translate / fi-it

• Descrizione della configurazione : set di dati dell'attività di traduzione fi-en WMT 2015.

• Dimensione download : 260.51 MiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(), dtype=tf.string),
    'fi': Text(shape=(), dtype=tf.string),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('fi', 'en')

wmt15_translate / fr-it

• Descrizione della configurazione : set di dati dell'attività di traduzione di WMT 2015 fr-en.

• Dimensione download : 6.24 GiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(), dtype=tf.string),
    'fr': Text(shape=(), dtype=tf.string),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('fr', 'en')

wmt15_translate / ru-it

• Descrizione della configurazione : set di dati dell'attività di traduzione ru-en di WMT 2015.

• Dimensione download : 1.02 GiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('ru', 'en')

wmt15_translate / cs-en.subwords8k

• Descrizione della configurazione : set di dati dell'attività di traduzione cs-en 2015 di WMT con codifica di parole chiave.

• Dimensione download : 1.62 GiB

• Split :

• Caratteristiche :

 Translation({
    'cs': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8245>),
    'en': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8198>),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('cs', 'en')

wmt15_translate / de-en.subwords8k

• Descrizione della configurazione : set di dati dell'attività di traduzione de-en WMT 2015 con codifica di parole chiave.

• Dimensione download : 1.62 GiB

• Split :

• Caratteristiche :

 Translation({
    'de': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8270>),
    'en': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8212>),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('de', 'en')

wmt15_translate / fi-en.subwords8k

• Descrizione della configurazione : set di dati dell'attività di traduzione fi-en WMT 2015 con codifica di parole chiave.

• Dimensione download : 260.51 MiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8217>),
    'fi': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8113>),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('fi', 'en')

wmt15_translate / fr-en.subwords8k

• Descrizione della configurazione : set di dati dell'attività di traduzione di WMT 2015 con codifica di parole chiave.

• Dimensione download : 6.24 GiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8183>),
    'fr': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8133>),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('fr', 'en')

wmt15_translate / ru-en.subwords8k

• Descrizione della configurazione : set di dati dell'attività di traduzione di WMT 2015 ru-en con codifica di parole chiave.

• Dimensione download : 1.02 GiB

• Split :

• Caratteristiche :

 Translation({
    'en': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8194>),
    'ru': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8180>),
})
 

• Chiavi supervisionate (vedi as_supervised doc ): ('ru', 'en')