wmt16_translate

• Descrição :

Traduza o conjunto de dados com base nos dados de statmt.org.

Existem versões para os diferentes anos usando uma combinação de várias fontes de dados. A base wmt_translate permite que você crie sua própria configuração para escolher seu próprio par de dados/idioma criando um tfds.translate.wmt.WmtConfig personalizado.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• Documentação Adicional : Explore em Papers With Code north_east

• Página inicial : http://www.statmt.org/wmt16/translation-task.html

• Código -fonte: tfds.translate.Wmt16Translate

• Versões :

  • 1.0.0 (padrão): sem notas de versão.

• Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em download_config.manual_dir (o padrão é ~/tensorflow_datasets/downloads/manual/ ):
  Algumas das configurações do wmt aqui requerem um download manual. Por favor, olhe em wmt.py para ver o caminho exato (e nome do arquivo) que deve ser baixado.

• Figura ( tfds.show_examples ): Não compatível.

• Citação :

@InProceedings{bojar-EtAl:2016:WMT1,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Graham, Yvette  and  Haddow, Barry  and  Huck, Matthias  and  Jimeno Yepes, Antonio  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Neveol, Aurelie  and  Neves, Mariana  and  Popel, Martin  and  Post, Matt  and  Rubino, Raphael  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco  and  Verspoor, Karin  and  Zampieri, Marcos},
  title     = {Findings of the 2016 Conference on Machine Translation},
  booktitle = {Proceedings of the First Conference on Machine Translation},
  month     = {August},
  year      = {2016},
  address   = {Berlin, Germany},
  publisher = {Association for Computational Linguistics},
  pages     = {131--198},
  url       = {http://www.aclweb.org/anthology/W/W16/W16-2301}
}

wmt16_translate/cs-en (configuração padrão)

• Descrição da configuração : conjunto de dados da tarefa de tradução WMT 2016 cs-en.

• Tamanho do download : 1.57 GiB

• Tamanho do conjunto de dados : 7.56 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Estrutura de recursos :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): ('cs', 'en')

• Exemplos ( tfds.as_dataframe ):

wmt16_translate/de-en

• Descrição da configuração : WMT 2016 conjunto de dados de tarefa de tradução de-en.

• Tamanho do download : 1.57 GiB

• Tamanho do conjunto de dados : 1.38 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Estrutura de recursos :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): ('de', 'en')

• Exemplos ( tfds.as_dataframe ):

wmt16_translate/fi-en

• Descrição da configuração : WMT 2016 conjunto de dados da tarefa de tradução fi-en.

• Tamanho do download : 260.51 MiB

• Tamanho do conjunto de dados : 624.31 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Estrutura de recursos :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): ('fi', 'en')

• Exemplos ( tfds.as_dataframe ):

wmt16_translate/ro-en

• Descrição da configuração : WMT 2016 conjunto de dados de tarefa de tradução ro-en.

• Tamanho do download : 273.83 MiB

• Tamanho do conjunto de dados : 194.35 MiB

• Cache automático ( documentação ): Sim (teste, validação), somente quando shuffle_files=False (train)

• Divisões :

• Estrutura de recursos :

Translation({
    'en': Text(shape=(), dtype=string),
    'ro': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Veja as_supervised doc ): ('ro', 'en')

• Exemplos ( tfds.as_dataframe ):

wmt16_translate/ru-en

• Descrição da configuração : WMT 2016 conjunto de dados da tarefa de tradução ru-en.

• Tamanho do download : 993.38 MiB

• Tamanho do conjunto de dados : 854.44 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Estrutura de recursos :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): ('ru', 'en')

• Exemplos ( tfds.as_dataframe ):

wmt16_translate/tr-en

• Descrição da configuração : WMT 2016 tr-en conjunto de dados da tarefa de tradução.

• Tamanho do download : 59.32 MiB

• Tamanho do conjunto de dados : 63.21 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Estrutura de recursos :

Translation({
    'en': Text(shape=(), dtype=string),
    'tr': Text(shape=(), dtype=string),
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): ('tr', 'en')

• Exemplos ( tfds.as_dataframe ):