Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

wmt19_translate

  • Описание:

Перевести набор данных на основе данных statmt.org.

Версии существуют для разных лет с использованием комбинации нескольких источников данных. База wmt_translate позволяет создавать свои собственные конфигурации , чтобы выбрать свою собственную пару данных / языка путем создания пользовательского tfds.translate.wmt.WmtConfig .

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)
  • Домашняя страница: http://www.statmt.org/wmt19/translation-task.html

  • Исходный код: tfds.translate.Wmt19Translate

  • Версии:

    • 1.0.0 ( по умолчанию): Нет Замечания к выпуску.
  • Dataset размер: Unknown size

  • Руководство по эксплуатации скачать: Этот набор данных требует от вас , чтобы загрузить исходные данные вручную в download_config.manual_dir ( по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
    Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Пожалуйста, загляните в wmt.py, чтобы увидеть точный путь (и имя файла), который необходимо загрузить.

  • Авто-кэшируются ( документация ): Unknown

  • Рис ( tfds.show_examples ): Не поддерживается.

  • Образец цитирования:

@ONLINE {wmt19translate,
    author = "Wikimedia Foundation",
    title  = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
    url    = "http://www.statmt.org/wmt19/translation-task.html"
}

wmt19_translate / cs-en (конфигурация по умолчанию)

  • Описание Config: WMT 2019 CS-ы задачи перевода данные.

  • Скачать Размер: 1.88 GiB

  • расколы:

Расколоть Примеры
'train' 20 246 548
'validation' 2 983
  • Особенности:
Translation({
    'cs': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

wmt19_translate / de-en

  • Описание Config: WMT 2019 - де-ен задач перевода данных.

  • Скачать Размер: 9.71 GiB

  • расколы:

Расколоть Примеры
'train' 38 690 334
'validation' 2 998
  • Особенности:
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

wmt19_translate / fi-en

  • Описание Config: WMT 2019 фи-ный перевод задача набора данных.

  • Скачать Размер: 959.46 MiB

  • расколы:

Расколоть Примеры
'train' 6 587 448
'validation' 3 000
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'fi': Text(shape=(), dtype=tf.string),
})

wmt19_translate / gu-en

  • Описание Config: WMT 2019 гу-ен задач перевода данных.

  • Скачать Размер: 37.03 MiB

  • расколы:

Расколоть Примеры
'train' 11 670
'validation' 1,998
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gu': Text(shape=(), dtype=tf.string),
})

wmt19_translate / kk-en

  • Описание Config: WMT 2019 кк-ный перевод задача набора данных.

  • Скачать Размер: 39.58 MiB

  • расколы:

Расколоть Примеры
'train' 126 583
'validation' 2 066
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'kk': Text(shape=(), dtype=tf.string),
})

wmt19_translate / lt-en

  • Описание конфигурации: ВМТ 2019 л-ный перевод задача набора данных.

  • Скачать Размер: 392.20 MiB

  • расколы:

Расколоть Примеры
'train' 2 344 893
'validation' 2 000
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'lt': Text(shape=(), dtype=tf.string),
})

wmt19_translate / ru-en

  • Описание Config: WMT 2019 Ru-En задачи перевода данных.

  • Скачать Размер: 3.86 GiB

  • расколы:

Расколоть Примеры
'train' 38 492 126
'validation' 3 000
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

wmt19_translate / zh-en

  • Описание Config: WMT 2019 ZH-ный перевод задача набора данных.

  • Скачать Размер: 2.04 GiB

  • расколы:

Расколоть Примеры
'train' 25 986 436
'validation' 3 981
  • Особенности:
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'zh': Text(shape=(), dtype=tf.string),
})

wmt19_translate / fr-de

  • Описание Config: WMT 2019 FR-де задача перевода набора данных.

  • Скачать Размер: 722.20 MiB

  • расколы:

Расколоть Примеры
'train' 9 824 476
'validation' 1,512
  • Особенности:
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'fr': Text(shape=(), dtype=tf.string),
})