- Описание :
Наборы данных, полученные из расшифровок выступлений TED, для сравнения похожих языковых пар, где одна из них является ресурсоемкой, а другая — низкоресурсной.
Домашняя страница : https://github.com/neulab/word-embeddings-for-nmt
Исходный код :
tfds.translate.TedHrlrTranslate
Версии :
-
1.0.0
(по умолчанию): новый раздельный API ( https://tensorflow.org/datasets/splits )
-
Размер загрузки :
124.94 MiB
.Размер набора данных :
Unknown size
Автокэширование ( документация ): неизвестно
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@inproceedings{Ye2018WordEmbeddings,
author = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
title = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
booktitle = {HLT-NAACL},
year = {2018},
}
ted_hrlr_translate/az_to_en (конфигурация по умолчанию)
Описание конфигурации : перевод набора данных с az на en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 903 |
'train' | 5946 |
'validation' | 671 |
- Особенности :
Translation({
'az': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('az', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/aztr_to_en
Описание конфигурации : набор данных перевода из az_tr в en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 903 |
'train' | 188 396 |
'validation' | 671 |
- Особенности :
Translation({
'az_tr': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('az_tr', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/be_to_en
Описание конфигурации : набор данных перевода из be в en в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 664 |
'train' | 4509 |
'validation' | 248 |
- Особенности :
Translation({
'be': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('be', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/beru_to_ru
Описание конфига: Перевод набора данных из be_ru в en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 664 |
'train' | 212 614 |
'validation' | 248 |
- Особенности :
Translation({
'be_ru': Text(shape=(), dtype=tf.string),
'en': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('be_ru', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/es_to_pt
Описание конфигурации : набор данных перевода из es в pt в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1763 |
'train' | 44 938 |
'validation' | 1016 |
- Особенности :
Translation({
'es': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('es', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/fr_to_pt
Описание конфигурации : набор данных перевода с fr на pt в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1494 |
'train' | 43 873 |
'validation' | 1131 |
- Особенности :
Translation({
'fr': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('fr', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/gl_to_en
Описание конфигурации : набор данных перевода из gl в en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1007 |
'train' | 10 017 |
'validation' | 682 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'gl': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('gl', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/glpt_to_en
Описание конфигурации : набор данных перевода из gl_pt в en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1007 |
'train' | 61 802 |
'validation' | 682 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'gl_pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('gl_pt', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/he_to_pt
Описание конфигурации : набор данных перевода из he в pt в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1623 |
'train' | 48 511 |
'validation' | 1145 |
- Особенности :
Translation({
'he': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('he', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/it_to_pt
Описание конфига : Перевод датасета из него в pt в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1669 |
'train' | 46 259 |
'validation' | 1162 |
- Особенности :
Translation({
'it': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('it', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/pt_to_en
Описание конфигурации : набор данных перевода из pt в en в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1803 |
'train' | 51 785 |
'validation' | 1193 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'pt': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('pt', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/ru_to_ru
Описание конфига : Набор данных перевода с ru на en в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 5476 |
'train' | 208 106 |
'validation' | 4805 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'en')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/ru_to_pt
Описание конфига : Набор данных перевода с ru на pt в виде обычного текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 1588 |
'train' | 47 278 |
'validation' | 1184 |
- Особенности :
Translation({
'pt': Text(shape=(), dtype=tf.string),
'ru': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'pt')
Примеры ( tfds.as_dataframe ):
ted_hrlr_translate/tr_to_ru
Описание конфигурации : набор данных перевода из tr в en в виде простого текста.
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 5029 |
'train' | 182 450 |
'validation' | 4045 |
- Особенности :
Translation({
'en': Text(shape=(), dtype=tf.string),
'tr': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см . документ
as_supervised
):('tr', 'en')
Примеры ( tfds.as_dataframe ):