- Описание:
Набор данных CFQ (и его разбиения) для измерения композиционного обобщения.
См https://arxiv.org/abs/1912.09713.pdf для фона.
Примечание о проверке обоснованности: Поскольку это имеет такое же распределение, что и тестовый набор , и мы заинтересованы в измерении композиционного обобщения модели относительно неизвестного распределения тестов мы предполагаем , что любая настройка должна быть сделаны на подмножестве поезда только набор (см. раздел 5.1 статьи).
Пример использования:
data = tfds.load('cfq/mcd1')
Домашняя страница: https://github.com/google-research/google-research/tree/master/cfq
Исходный код:
tfds.text.CFQ
Версии:
-
1.2.0
( по умолчанию): Нет Замечания к выпуску.
-
Скачать Размер:
255.20 MiB
Авто-кэшируются ( документация ): Да
Особенности:
FeaturesDict({
'query': Text(shape=(), dtype=tf.string),
'question': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см
as_supervised
документ ):('question', 'query')
Рис ( tfds.show_examples ): Не поддерживается.
Образец цитирования:
@inproceedings{Keysers2020,
title={Measuring Compositional Generalization: A Comprehensive Method on
Realistic Data},
author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
Hylke Buisman and Daniel Furrer and Sergii Kashubin and
Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
Olivier Bousquet},
booktitle={ICLR},
year={2020},
url={https://arxiv.org/abs/1912.09713.pdf},
}
cfq / mcd1 (конфигурация по умолчанию)
Dataset Размер:
49.75 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / mcd2
Dataset Размер:
51.39 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / mcd3
Dataset Размер:
50.22 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / question_complexity_split
Dataset Размер:
52.81 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 10 340 |
'train' | 98 999 |
'validation' | 10 339 |
- Примеры ( tfds.as_dataframe ):
cfq / question_pattern_split
Dataset Размер:
52.81 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 909 |
'train' | 95 654 |
'validation' | 12 115 |
- Примеры ( tfds.as_dataframe ):
cfq / query_complexity_split
Dataset Размер:
52.81 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 9 512 |
'train' | 100 654 |
'validation' | 9 512 |
- Примеры ( tfds.as_dataframe ):
cfq / query_pattern_split
Dataset Размер:
52.81 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 12 589 |
'train' | 94 600 |
'validation' | 12 489 |
- Примеры ( tfds.as_dataframe ):
cfq / random_split
Dataset Размер:
52.81 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 967 |
'train' | 95 744 |
'validation' | 11 967 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r1
Dataset Размер:
49.72 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r2
Dataset Размер:
49.45 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r3
Dataset Размер:
49.76 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r4
Dataset Размер:
50.04 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r5
Dataset Размер:
49.36 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r6
Dataset Размер:
49.36 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r7
Dataset Размер:
49.93 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r8
Dataset Размер:
48.58 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0_r9
Dataset Размер:
49.23 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r1
Dataset Размер:
51.54 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r2
Dataset Размер:
48.18 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r3
Dataset Размер:
49.23 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r4
Dataset Размер:
49.76 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r5
Dataset Размер:
49.10 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r6
Dataset Размер:
49.10 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r7
Dataset Размер:
48.02 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r8
Dataset Размер:
48.13 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.1_r9
Dataset Размер:
48.44 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r1
Dataset Размер:
50.90 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r2
Dataset Размер:
49.12 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r3
Dataset Размер:
50.68 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r4
Dataset Размер:
52.61 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r5
Dataset Размер:
50.63 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r6
Dataset Размер:
50.63 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r7
Dataset Размер:
52.39 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r8
Dataset Размер:
50.53 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.2_r9
Dataset Размер:
50.64 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r1
Dataset Размер:
52.08 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r2
Dataset Размер:
52.11 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r3
Dataset Размер:
51.25 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r4
Dataset Размер:
49.94 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r5
Dataset Размер:
49.71 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r6
Dataset Размер:
49.71 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r7
Dataset Размер:
50.86 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r8
Dataset Размер:
49.43 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.3_r9
Dataset Размер:
50.32 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r1
Dataset Размер:
48.52 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r2
Dataset Размер:
47.40 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r3
Dataset Размер:
49.18 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r4
Dataset Размер:
47.86 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r5
Dataset Размер:
49.01 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r6
Dataset Размер:
49.01 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r7
Dataset Размер:
51.70 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r8
Dataset Размер:
50.94 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.4_r9
Dataset Размер:
51.98 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r1
Dataset Размер:
51.00 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r2
Dataset Размер:
49.91 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r3
Dataset Размер:
51.26 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r4
Dataset Размер:
51.27 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r5
Dataset Размер:
51.87 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r6
Dataset Размер:
51.87 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r7
Dataset Размер:
48.52 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r8
Dataset Размер:
48.62 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.5_r9
Dataset Размер:
48.48 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r1
Dataset Размер:
49.32 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r2
Dataset Размер:
49.36 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r3
Dataset Размер:
49.85 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r4
Dataset Размер:
50.07 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r5
Dataset Размер:
49.86 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r6
Dataset Размер:
49.86 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r7
Dataset Размер:
49.42 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r8
Dataset Размер:
48.52 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd0.6_r9
Dataset Размер:
49.54 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r1
Dataset Размер:
49.75 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r2
Dataset Размер:
49.07 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r3
Dataset Размер:
50.22 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r4
Dataset Размер:
49.12 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r5
Dataset Размер:
48.80 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r6
Dataset Размер:
48.80 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r7
Dataset Размер:
50.69 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r8
Dataset Размер:
51.39 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):
cfq / cd1_r9
Dataset Размер:
49.94 MiB
расколы:
Расколоть | Примеры |
---|---|
'test' | 11 968 |
'train' | 95 743 |
'validation' | 11 968 |
- Примеры ( tfds.as_dataframe ):