opus

  • Descripción :

OPUS es una colección de textos traducidos de la web.

Cree su propia configuración para elegir qué par de datos/idiomas cargar.

config = tfds.translate.opus.OpusConfig(
    version=tfds.core.Version('0.1.0'),
    language_pair=("de", "en"),
    subsets=["GNOME", "EMEA"]
)
builder = tfds.builder("opus", config=config)
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
Traducción
Delaware Texto tf.cadena
es Texto tf.cadena
@inproceedings{Tiedemann2012ParallelData,
  author = {Tiedemann, J},
  title = {Parallel Data, Tools and Interfaces in OPUS},
  booktitle = {LREC}
  year = {2012}}

opus/medical (configuración predeterminada)

  • Descripción de la configuración : documentos médicos

  • Tamaño de la descarga : 34.29 MiB

  • Tamaño del conjunto de datos : 188.85 MiB

  • Auto-caché ( documentación ): Solo cuando shuffle_files=False (tren)

  • Divisiones :

Separar Ejemplos
'train' 1,108,752

opus/ley

  • Descripción de la configuración : documentos legales

  • Tamaño de la descarga : 46.99 MiB

  • Tamaño del conjunto de datos : 214.44 MiB

  • Auto-caché ( documentación ): Solo cuando shuffle_files=False (tren)

  • Divisiones :

Separar Ejemplos
'train' 719,372

opus/corán

  • Descripción de la configuración : documentos del Corán

  • Tamaño de la descarga : 35.42 MiB

  • Tamaño del conjunto de datos : 117.54 MiB

  • Almacenamiento automático en caché ( documentación ): Sí

  • Divisiones :

Separar Ejemplos
'train' 537,128

opus/IT

  • Descripción de la configuración : documentos de TI

  • Tamaño de la descarga : 10.33 MiB

  • Tamaño del conjunto de datos : 42.51 MiB

  • Almacenamiento automático en caché ( documentación ): Sí

  • Divisiones :

Separar Ejemplos
'train' 347,817

obra/subtítulos

  • Descripción de la configuración : documentos de subtítulos

  • Tamaño de la descarga : 677.64 MiB

  • Tamaño del conjunto de datos : 2.01 GiB

  • Almacenamiento automático en caché ( documentación ): No

  • Divisiones :

Separar Ejemplos
'train' 22,512,639