Sintonize-se com as primeiras mulheres em ML Simpósio esta terça-feira 19 out às 9h PST Register now

opus

  • Descrição:

OPUS é uma coleção de textos traduzidos da web.

Crie sua própria configuração para escolher qual par de dados / idioma carregar.

config = tfds.translate.opus.OpusConfig(
    version=tfds.core.Version('0.1.0'),
    language_pair=("de", "en"),
    subsets=["GNOME", "EMEA"]
)
builder = tfds.builder("opus", config=config)
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
@inproceedings{Tiedemann2012ParallelData,
  author = {Tiedemann, J},
  title = {Parallel Data, Tools and Interfaces in OPUS},
  booktitle = {LREC}
  year = {2012} }

opus / medical (configuração padrão)

  • A inscrição Config: documentos médicos

  • Tamanho do download: 34.29 MiB

  • Dataset size: 188.85 MiB

  • Cache-Auto ( documentação ): Somente quando shuffle_files=False (trem)

  • desdobramentos:

Dividir Exemplos
'train' 1.108.752

opus / lei

  • A inscrição Config: documentos de advocacia

  • Tamanho do download: 46.99 MiB

  • Dataset size: 214.44 MiB

  • Cache-Auto ( documentação ): Somente quando shuffle_files=False (trem)

  • desdobramentos:

Dividir Exemplos
'train' 719.372

opus / koran

  • A inscrição Config: documentos Corão

  • Tamanho do download: 35.42 MiB

  • Dataset tamanho: 117.54 MiB

  • Cache-Auto ( documentação ): Sim

  • desdobramentos:

Dividir Exemplos
'train' 537.128

opus / IT

  • A inscrição Config: documentos de TI

  • Tamanho do download: 10.33 MiB

  • Dataset tamanho: 42.51 MiB

  • Cache-Auto ( documentação ): Sim

  • desdobramentos:

Dividir Exemplos
'train' 347.817

opus / legendas

  • A inscrição Config: documentos legendas

  • Tamanho do download: 677.64 MiB

  • Tamanho do conjunto de dados: 2.01 GiB

  • Cache-Auto ( documentação ): Não

  • desdobramentos:

Dividir Exemplos
'train' 22.512.639