opus

  • Description:

OPUS est une collection de textes traduits du Web.

Créez votre propre config pour choisir la paire données/langue à charger.

config = tfds.translate.opus.OpusConfig(
    version=tfds.core.Version('0.1.0'),
    language_pair=("de", "en"),
    subsets=["GNOME", "EMEA"]
)
builder = tfds.builder("opus", config=config)
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
@inproceedings{Tiedemann2012ParallelData,
  author = {Tiedemann, J},
  title = {Parallel Data, Tools and Interfaces in OPUS},
  booktitle = {LREC}
  year = {2012} }

opus/medical (configuration par défaut)

  • Description Config: documents médicaux

  • Taille du téléchargement: 34.29 MiB

  • Dataset Taille: 188.85 MiB

  • Auto-cache ( documentation ): Seulement quand shuffle_files=False (train)

  • scissions:

Diviser Exemples
'train' 1 108 752

opus/loi

  • Description Config: documents de droit

  • Taille du téléchargement: 46.99 MiB

  • Dataset Taille: 214.44 MiB

  • Auto-cache ( documentation ): Seulement quand shuffle_files=False (train)

  • scissions:

Diviser Exemples
'train' 719 372

opus/coran

  • Description Config: documents Koran

  • Taille du téléchargement: 35.42 MiB

  • Dataset Taille: 117.54 MiB

  • Auto-cache ( documentation ): Oui

  • scissions:

Diviser Exemples
'train' 537 128

opus/informatique

  • Description Config: documents informatiques

  • Taille du téléchargement: 10.33 MiB

  • Dataset Taille: 42.51 MiB

  • Auto-cache ( documentation ): Oui

  • scissions:

Diviser Exemples
'train' 347 817

opus/sous-titres

  • Description Config: les sous - titres des documents

  • Taille du téléchargement: 677.64 MiB

  • Taille Dataset: 2.01 GiB

  • Mis en cache automatique ( documentation ): Non

  • scissions:

Diviser Exemples
'train' 22 512 639