Эта страница была переведа с помощью Cloud Translation API.
Switch to English

wmt19_translate

  • Описание :

Перевести набор данных на основе данных statmt.org.

Версии существуют для разных лет с использованием комбинации нескольких источников данных. Базовый wmt_translate позволяет вам создать свою собственную конфигурацию, чтобы выбрать собственную пару данных / языка, создав собственный tfds.translate.wmt.WmtConfig .

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

  • Домашняя страница : http://www.statmt.org/wmt19/translation-task.html

  • Исходный код : tfds.translate.Wmt19Translate

  • Версии :

    • 1.0.0 (по умолчанию): без примечаний к выпуску.

  • Размер набора данных : Unknown size

  • Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
    Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Загляните в wmt.py, чтобы узнать точный путь (и имя файла), который необходимо загрузить.

  • Автоматическое кэширование ( документация ): неизвестно

  • Цитата :

@ONLINE {wmt19translate,
    author = "Wikimedia Foundation",
    title  = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
    url    = "http://www.statmt.org/wmt19/translation-task.html"
}

wmt19_translate / cs-en (конфигурация по умолчанию)

  • Описание конфигурации : набор данных задачи перевода WMT 2019 cs-en.

  • Размер загружаемого файла : 1.88 GiB

  • Сплит :

Трещина Примеры
'train' 20 246 548
'validation' 2 983
  • Особенности :
Translation({
    'cs': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

wmt19_translate / de-en

  • Описание конфигурации : набор данных задачи де-en-перевода WMT 2019.

  • Размер загружаемого 9.71 GiB : 9.71 GiB

  • Сплит :

Трещина Примеры
'train' 38 690 334
'validation' 2 998
  • Особенности :
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

wmt19_translate / fi-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 fi-en.

  • Размер загрузки : 959.46 MiB

  • Сплит :

Трещина Примеры
'train' 6 587 448
'validation' 3 000
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'fi': Text(shape=(), dtype=tf.string),
})

wmt19_translate / gu-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 gu-en.

  • Размер загрузки : 37.03 MiB

  • Сплит :

Трещина Примеры
'train' 11 670
'validation' 1,998
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gu': Text(shape=(), dtype=tf.string),
})

wmt19_translate / kk-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 kk-en.

  • Размер загрузки : 39.58 MiB

  • Сплит :

Трещина Примеры
'train' 126 583
'validation' 2,066
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'kk': Text(shape=(), dtype=tf.string),
})

wmt19_translate / lt-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 lt-en.

  • Размер загрузки : 392.20 MiB

  • Сплит :

Трещина Примеры
'train' 2 344 893
'validation' 2 000
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'lt': Text(shape=(), dtype=tf.string),
})

wmt19_translate / ru-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 ru-en.

  • Размер загружаемого файла : 3.86 GiB

  • Сплит :

Трещина Примеры
'train' 38 492 126
'validation' 3 000
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

wmt19_translate / zh-en

  • Описание конфигурации : набор данных задачи перевода WMT 2019 zh-en.

  • Размер загружаемого файла : 2.04 GiB

  • Сплит :

Трещина Примеры
'train' 25 986 436
'validation' 3 981
  • Особенности :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'zh': Text(shape=(), dtype=tf.string),
})

wmt19_translate / fr-de

  • Описание конфигурации : набор данных задачи перевода WMT 2019 fr-de.

  • Размер загрузки : 722.20 MiB

  • Сплит :

Трещина Примеры
'train' 9 824 476
'validation' 1,512
  • Особенности :
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'fr': Text(shape=(), dtype=tf.string),
})