- Описание :
Наборы данных, полученные из стенограмм выступлений TED, для сравнения схожих языковых пар, где одна - это высокий ресурс, а другой - низкий.
Домашняя страница : https://github.com/neulab/word-embeddings-for-nmt
Исходный код :
tfds.translate.TedHrlrTranslate
Версии :
-
1.0.0
(по умолчанию): новый API разделения ( https://tensorflow.org/datasets/splits )
-
Размер загрузки :
124.94 MiB
Размер набора данных :
Unknown size
Автоматическое кэширование ( документация ): неизвестно
Цитата :
@inproceedings{Ye2018WordEmbeddings,
author = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
title = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
booktitle = {HLT-NAACL},
year = {2018},
}
- Рисунок ( tfds.show_examples ): не поддерживается.
ted_hrlr_translate / az_to_en (конфигурация по умолчанию)
Описание конфигурации : перевод набора данных с az на en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 903 |
'train' | 5 946 |
'validation' | 671 |
- Особенности :
Translation({
'az': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('az', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / aztr_to_en
Описание конфигурации : перевод набора данных из az_tr в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 903 |
'train' | 188 396 |
'validation' | 671 |
- Особенности :
Translation({
'az_tr': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
):('az_tr', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / be_to_en
Описание конфигурации : перевод набора данных из be в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 664 |
'train' | 4 509 |
'validation' | 248 |
- Особенности :
Translation({
'be': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('be', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / beru_to_en
Описание конфигурации : Перевод набора данных из be_ru в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 664 |
'train' | 212 614 |
'validation' | 248 |
- Особенности :
Translation({
'be_ru': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('be_ru', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / es_to_pt
Описание конфигурации : перевод набора данных из es в pt в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,763 |
'train' | 44 938 |
'validation' | 1,016 |
- Особенности :
Translation({
'es': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('es', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / fr_to_pt
Описание конфигурации : перевод набора данных из fr в pt в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,494 |
'train' | 43 873 |
'validation' | 1,131 |
- Особенности :
Translation({
'fr': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('fr', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / gl_to_en
Описание конфигурации : перевод набора данных с gl на en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1 007 |
'train' | 10 017 |
'validation' | 682 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'gl': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('gl', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / glpt_to_en
Описание конфигурации : перевод набора данных из gl_pt в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1 007 |
'train' | 61 802 |
'validation' | 682 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'gl_pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('gl_pt', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / he_to_pt
Описание конфигурации : перевод набора данных из he в pt в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,623 |
'train' | 48 511 |
'validation' | 1,145 |
- Особенности :
Translation({
'he': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('he', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / it_to_pt
Описание конфигурации : перевод набора данных из него в pt в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,669 |
'train' | 46 259 |
'validation' | 1,162 |
- Особенности :
Translation({
'it': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('it', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / pt_to_en
Описание конфигурации : перевод набора данных из pt в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1 803 |
'train' | 51 785 |
'validation' | 1,193 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
as_supervised
ключи (см.as_supervised
):('pt', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / ru_to_en
Описание конфигурации : Перевод набора данных с ru на en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 5 476 |
'train' | 208 106 |
'validation' | 4805 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / ru_to_pt
Описание конфигурации : Перевод набора данных с ru на pt в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,588 |
'train' | 47 278 |
'validation' | 1,184 |
- Особенности :
Translation({
'pt': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate / tr_to_en
Описание конфигурации : перевод набора данных из tr в en в виде обычного текста.
Сплит :
Трещина | Примеры |
---|---|
'test' | 5 029 |
'train' | 182 450 |
'validation' | 4 045 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'tr': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('tr', 'en')
Примеры ( tfds.as_dataframe ):