- Описание :
XQuAD (Cross-lingual Question Answering Dataset) - это эталонный набор данных для оценки эффективности межъязычных ответов на вопросы. Набор данных состоит из подмножества из 240 абзацев и 1190 пар вопросов-ответов из набора для разработки SQuAD v1.1 (Rajpurkar et al., 2016) вместе с их профессиональными переводами на десять языков: испанский, немецкий, греческий, русский, турецкий. , Арабский, вьетнамский, тайский, китайский и хинди. Следовательно, набор данных полностью параллелен на 11 языках. Чтобы запустить XQuAD с настройкой нулевого выстрела по умолчанию, используйте данные обучения и проверки SQuAD v1.1 здесь: https://www.tensorflow.org/datasets/catalog/squad
Мы также включаем разделения «translate-train», «translate-dev» и «translate-test» для каждого неанглийского языка из XTREME (Hu et al., 2020). Их можно использовать для запуска XQuAD в настройках «translate-train» или «translate-test».
Домашняя страница : https://github.com/deepmind/xquad
Исходный код :
tfds.question_answering.Xquad
Версии :
-
2.0.0
(по умолчанию): без примечаний к выпуску.
-
Особенности :
FeaturesDict({
'answers': Sequence({
'answer_start': tf.int32,
'text': Text(shape=(), dtype=tf.string),
}),
'context': Text(shape=(), dtype=tf.string),
'id': tf.string,
'question': Text(shape=(), dtype=tf.string),
'title': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
):None
Цитата :
@article{Artetxe:etal:2019,
author = {Mikel Artetxe and Sebastian Ruder and Dani Yogatama},
title = {On the cross-lingual transferability of monolingual representations},
journal = {CoRR},
volume = {abs/1910.11856},
year = {2019},
archivePrefix = {arXiv},
eprint = {1910.11856}
}
- Рисунок ( tfds.show_examples ): не поддерживается.
xquad / ar (конфигурация по умолчанию)
Описание конфигурации : тестовое разделение XQuAD 'ar' с машинно-переведенными разделами translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
420.97 MiB
Размер набора данных :
134.78 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 541 |
'translate-test' | 1,151 |
'translate-train' | 86 787 |
- Примеры ( tfds.as_dataframe ):
xquad / de
Описание конфигурации : тестовое разделение XQuAD 'de' с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
127.04 MiB
Размер набора данных :
98.75 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 371 |
'translate-test' | 1,168 |
'translate-train' | 82 603 |
- Примеры ( tfds.as_dataframe ):
xquad / el
Описание конфигурации : XQuAD 'el' test split, с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
499.40 MiB
Размер набора данных :
157.85 MiB
Автоматическое кэширование ( документация ): Да (test, translate-dev, translate-test), только когда
shuffle_files=False
(translate-train)Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 100 |
'translate-test' | 1,182 |
'translate-train' | 79 946 |
- Примеры ( tfds.as_dataframe ):
xquad / es
Описание конфигурации : тестовое разделение XQuAD 'es' с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
138.41 MiB
Размер набора данных :
104.91 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 566 |
'translate-test' | 1,188 |
'translate-train' | 87 488 |
- Примеры ( tfds.as_dataframe ):
xquad / привет
Описание конфигурации : разделение тестов XQuAD 'hi' с машинно-переведенными разделами translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
472.23 MiB
Размер набора данных :
207.80 MiB
Автоматическое кэширование ( документация ): Да (test, translate-dev, translate-test), только когда
shuffle_files=False
(translate-train)Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 536 |
'translate-test' | 1,184 |
'translate-train' | 85 804 |
- Примеры ( tfds.as_dataframe ):
xquad / ru
Описание конфигурации : разделение теста XQuAD 'ru' с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
513.80 MiB
Размер набора данных :
159.33 MiB
Автоматическое кэширование ( документация ): Да (test, translate-dev, translate-test), только когда
shuffle_files=False
(translate-train)Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 469 |
'translate-test' | 1,190 |
'translate-train' | 84 869 |
- Примеры ( tfds.as_dataframe ):
xquad / th
Описание конфигурации : разделение тестов XQuAD с машинным переводом разделов translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
461.54 MiB
Размер набора данных :
199.52 MiB
Автоматическое кэширование ( документация ): Да (test, translate-dev, translate-test), только когда
shuffle_files=False
(translate-train)Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 516 |
'translate-test' | 1,157 |
'translate-train' | 85 846 |
- Примеры ( tfds.as_dataframe ):
xquad / tr
Описание конфигурации : тестовое разделение XQuAD 'tr' с машинно-переведенными разделами translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
151.08 MiB
Размер набора данных :
97.51 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 535 |
'translate-test' | 1,112 |
'translate-train' | 86 511 |
- Примеры ( tfds.as_dataframe ):
xquad / vi
Описание конфигурации : тестовое разделение XQuAD 'vi' с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
218.09 MiB
Размер набора данных :
119.98 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 555 |
'translate-test' | 1,178 |
'translate-train' | 87 187 |
- Примеры ( tfds.as_dataframe ):
xquad / zh
Описание конфигурации : разделение тестов XQuAD 'zh' с машинно-переведенными разделениями translate-train / translate-dev / translate-test из XTREME (Hu et al., 2020).
Размер загрузки :
174.57 MiB
Размер набора данных :
80.74 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
'translate-dev' | 10 475 |
'translate-test' | 1,186 |
'translate-train' | 85 700 |
- Примеры ( tfds.as_dataframe ):
xquad / en
Описание конфигурации : XQuAD 'en' test split.
Размер загрузки :
595.10 KiB
Размер набора данных :
1.19 MiB
Автоматическое кэширование ( документация ): Да
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,190 |
- Примеры ( tfds.as_dataframe ):