- Описание:
Перевести набор данных на основе данных statmt.org.
Версии существуют для разных лет с использованием комбинации нескольких источников данных. База wmt_translate
позволяет создавать свои собственные конфигурации , чтобы выбрать свою собственную пару данных / языка путем создания пользовательского tfds.translate.wmt.WmtConfig
.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Домашняя страница: http://www.statmt.org/wmt18/translation-task.html
Исходный код:
tfds.translate.Wmt18Translate
Версии:
-
1.0.0
( по умолчанию): Нет Замечания к выпуску.
-
Размер загрузки:
Unknown size
Dataset размер:
Unknown size
Руководство по эксплуатации скачать: Этот набор данных требует от вас , чтобы загрузить исходные данные вручную в
download_config.manual_dir
( по умолчанию~/tensorflow_datasets/downloads/manual/
):
Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Загляните в wmt.py, чтобы узнать точный путь (и имя файла), который необходимо загрузить.Авто-кэшируются ( документация ): Unknown
расколы:
Расколоть | Примеры |
---|
Рис ( tfds.show_examples ): Не поддерживается.
Примеры ( tfds.as_dataframe ): Отсутствует.
Образец цитирования:
@InProceedings{bojar-EtAl:2018:WMT1,
author = {Bojar, Ond
{r}ej and Federmann, Christian and Fishel, Mark
and Graham, Yvette and Haddow, Barry and Huck, Matthias and
Koehn, Philipp and Monz, Christof},
title = {Findings of the 2018 Conference on Machine Translation (WMT18)},
booktitle = {Proceedings of the Third Conference on Machine Translation,
Volume 2: Shared Task Papers},
month = {October},
year = {2018},
address = {Belgium, Brussels},
publisher = {Association for Computational Linguistics},
pages = {272--307},
url = {http://www.aclweb.org/anthology/W18-6401}
}
wmt18_translate / cs-en (конфигурация по умолчанию)
Описание конфигурации: WMT 2018 CS-ы задачи перевода данные.
Особенности:
Translation({
'cs': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('cs', 'en')
wmt18_translate / de-en
Описание Config: WMT +2018 де-ан задач перевода данных.
Особенности:
Translation({
'de': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('de', 'en')
wmt18_translate / et-en
Описание Config: WMT +2018 е-ен перевод задачи набора данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'et': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('et', 'en')
и('et', 'en')
wmt18_translate / fi-en
Описание конфигурации: WMT 2018 фи-ный перевод задача набора данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'fi': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('fi', 'en')
wmt18_translate / kk-en
Описание конфигурации: WMT 2018 кк-ный перевод задача набора данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'kk': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('kk', 'en')
wmt18_translate / ru-en
Описание конфигурации: WMT 2018 Ru-En задачи перевода данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('ru', 'en')
wmt18_translate / tr-en
Описание конфигурации: WMT 2018 тр-ный перевод задача набора данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'tr': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('tr', 'en')
wmt18_translate / zh-en
Описание Config: WMT +2018 ж-ный переводом задача набора данных.
Особенности:
Translation({
'en': Text(shape=(), dtype=tf.string),
'zh': Text(shape=(), dtype=tf.string),
})
- Контролируемые ключи (См
as_supervised
документ ):('zh', 'en')