- Описание :
Перевести набор данных на основе данных statmt.org.
Версии существуют для разных лет с использованием комбинации нескольких источников данных. Базовый wmt_translate
позволяет вам создать свою собственную конфигурацию, чтобы выбрать собственную пару данных / языка, создав собственный tfds.translate.wmt.WmtConfig
.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Домашняя страница : http://www.statmt.org/wmt14/translation-task.html
Исходный код :
tfds.translate.Wmt14Translate
Версии :
-
1.0.0
(по умолчанию): без примечаний к выпуску.
-
Размер набора данных :
Unknown size
Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в
download_config.manual_dir
(по умолчанию~/tensorflow_datasets/downloads/manual/
):
Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Загляните в wmt.py, чтобы узнать точный путь (и имя файла), который необходимо загрузить.Автоматическое кэширование ( документация ): неизвестно
Цитата :
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}
- Рисунок ( tfds.show_examples ): не поддерживается.
wmt14_translate / cs-en (конфигурация по умолчанию)
Описание конфигурации : набор данных задачи перевода WMT 2014 cs-en.
Размер загружаемого файла :
1.58 GiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 3 003 |
'train' | 15 786 979 |
'validation' | 3 000 |
- Особенности :
Translation({
'cs': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('cs', 'en')
Примеры ( tfds.as_dataframe ):
wmt14_translate / de-en
Описание конфигурации : набор данных задачи преобразования WMT 2014.
Размер загружаемого файла :
1.58 GiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 3 003 |
'train' | 4 508 785 |
'validation' | 3 000 |
- Особенности :
Translation({
'de': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('de', 'en')
Примеры ( tfds.as_dataframe ):
wmt14_translate / fr-en
Описание конфигурации : набор данных задачи перевода WMT 2014 fr-en.
Размер загружаемого файла :
6.20 GiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 3 003 |
'train' | 40 836 876 |
'validation' | 3 000 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'fr': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
):('fr', 'en')
Примеры ( tfds.as_dataframe ):
wmt14_translate / hi-en
Описание конфигурации : набор данных задачи перевода WMT 2014 Hi-en.
Размер загрузки :
44.65 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 2 507 |
'train' | 313 748 |
'validation' | 520 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'hi': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('hi', 'en')
Примеры ( tfds.as_dataframe ):
wmt14_translate / ru-en
Описание конфигурации : набор данных задачи перевода WMT 2014 ru-en.
Размер загрузки :
998.38 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 3 003 |
'train' | 2,486,965 |
'validation' | 3 000 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'en')
Примеры ( tfds.as_dataframe ):