wmt19_translate

• Описание :

Перевести набор данных на основе данных statmt.org.

Версии существуют для разных лет с использованием комбинации нескольких источников данных. Базовый wmt_translate позволяет вам создать свою собственную конфигурацию, чтобы выбрать свою собственную пару данных / языка, создав собственный tfds.translate.wmt.WmtConfig .

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• Домашняя страница : http://www.statmt.org/wmt19/translation-task.html

• Исходный код :tfds.translate.Wmt19Translate

• Версии :

  • 1.0.0 (по умолчанию): без примечаний к выпуску.

• Размер набора данных : Unknown size

• Инструкции по загрузке вручную : для этого набора данных необходимо вручную загрузить исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
  Некоторые из приведенных здесь конфигураций wmt требуют ручной загрузки. Загляните в wmt.py, чтобы узнать точный путь (и имя файла), который необходимо загрузить.

• Автоматическое кэширование ( документация ): неизвестно

• Цитата :

@ONLINE {wmt19translate,
    author = "Wikimedia Foundation",
    title  = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
    url    = "http://www.statmt.org/wmt19/translation-task.html"
}

• Рисунок ( tfds.show_examples ): не поддерживается.

wmt19_translate / cs-en (конфигурация по умолчанию)

• Описание конфигурации : набор данных задачи перевода WMT 2019 cs-en.

• Размер загружаемого файла : 1.88 GiB

• Сплит :

• Особенности :

Translation({
    'cs': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised ): ('cs', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / de-en

• Описание конфигурации : набор данных задачи де-en-перевода WMT 2019.

• Размер загружаемого 9.71 GiB : 9.71 GiB

• Сплит :

• Особенности :

Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('de', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / fi-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 fi-en.

• Размер загрузки : 959.46 MiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'fi': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('fi', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / gu-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 gu-en.

• Размер загрузки : 37.03 MiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gu': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('gu', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / kk-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 kk-en.

• Размер загрузки : 39.58 MiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'kk': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('kk', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / lt-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 lt-en.

• Размер загрузки : 392.20 MiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'lt': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('lt', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / ru-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 ru-en.

• Размер загружаемого файла : 3.86 GiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('ru', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / zh-en

• Описание конфигурации : набор данных задачи перевода WMT 2019 zh-en.

• Размер загружаемого файла : 2.04 GiB

• Сплит :

• Особенности :

Translation({
    'en': Text(shape=(), dtype=tf.string),
    'zh': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('zh', 'en')

• Примеры ( tfds.as_dataframe ):

wmt19_translate / fr-de

• Описание конфигурации : набор данных задачи перевода WMT 2019 fr-de.

• Размер загрузки : 722.20 MiB

• Сплит :

• Особенности :

Translation({
    'de': Text(shape=(), dtype=tf.string),
    'fr': Text(shape=(), dtype=tf.string),
})

• Контролируемые ключи (см. as_supervised doc ): ('fr', 'de')

• Примеры ( tfds.as_dataframe ):