- Описание :
Перевести набор данных на основе данных statmt.org.
Версии существуют для разных лет с использованием комбинации нескольких источников данных. Базовый wmt_translate
позволяет вам создать свою собственную конфигурацию, чтобы выбрать свою собственную пару данных / языка, создав собственный tfds.translate.wmt.WmtConfig
.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Домашняя страница : http://www.statmt.org/wmt19/translation-task.html
Исходный код :
tfds.translate.Wmt19Translate
Версии :
-
1.0.0
(по умолчанию): без примечаний к выпуску.
-
Размер набора данных :
Unknown size
Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в
download_config.manual_dir
(по умолчанию~/tensorflow_datasets/downloads/manual/
):
Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Загляните в wmt.py, чтобы узнать точный путь (и имя файла), который необходимо загрузить.Автоматическое кэширование ( документация ): неизвестно
Цитата :
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
- Рисунок ( tfds.show_examples ): не поддерживается.
wmt19_translate / cs-en (конфигурация по умолчанию)
Описание конфигурации : набор данных задачи перевода WMT 2019 cs-en.
Размер загружаемого файла :
1.88 GiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 20 246 548 |
'validation' | 2 983 |
- Особенности :
Translation({
'cs': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
):('cs', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / de-en
Описание конфигурации : набор данных задачи де-en-перевода WMT 2019.
Размер загружаемого
9.71 GiB
:9.71 GiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 38 690 334 |
'validation' | 2 998 |
- Особенности :
Translation({
'de': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('de', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / fi-en
Описание конфигурации : набор данных задачи перевода WMT 2019 fi-en.
Размер загрузки :
959.46 MiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 6 587 448 |
'validation' | 3 000 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'fi': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('fi', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / gu-en
Описание конфигурации : набор данных задачи перевода WMT 2019 gu-en.
Размер загрузки :
37.03 MiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 11 670 |
'validation' | 1,998 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'gu': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('gu', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / kk-en
Описание конфигурации : набор данных задачи перевода WMT 2019 kk-en.
Размер загрузки :
39.58 MiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 126 583 |
'validation' | 2,066 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'kk': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('kk', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / lt-en
Описание конфигурации : набор данных задачи перевода WMT 2019 lt-en.
Размер загрузки :
392.20 MiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 2 344 893 |
'validation' | 2 000 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'lt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('lt', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / ru-en
Описание конфигурации : набор данных задачи перевода WMT 2019 ru-en.
Размер загружаемого файла :
3.86 GiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 38 492 126 |
'validation' | 3 000 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / zh-en
Описание конфигурации : набор данных задачи перевода WMT 2019 zh-en.
Размер загружаемого файла :
2.04 GiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 25 986 436 |
'validation' | 3 981 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'zh': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('zh', 'en')
Примеры ( tfds.as_dataframe ):
wmt19_translate / fr-de
Описание конфигурации : набор данных задачи перевода WMT 2019 fr-de.
Размер загрузки :
722.20 MiB
Сплит :
Трещина | Примеры |
---|---|
'train' | 9 824 476 |
'validation' | 1,512 |
- Особенности :
Translation({
'de': Text(shape=(), dtype=tf.string),
'fr': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('fr', 'de')
Примеры ( tfds.as_dataframe ):