Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

cfq

  • Описание:

Набор данных CFQ (и его разбиения) для измерения композиционного обобщения.

См https://arxiv.org/abs/1912.09713.pdf для фона.

Примечание о проверке обоснованности: Поскольку это имеет такое же распределение, что и тестовый набор , и мы заинтересованы в измерении композиционного обобщения модели относительно неизвестного распределения тестов мы предполагаем , что любая настройка должна быть сделаны на подмножестве поезда только набор (см. раздел 5.1 статьи).

Пример использования:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq / mcd1 (конфигурация по умолчанию)

  • Dataset Размер: 49.75 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / mcd2

  • Dataset Размер: 51.39 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / mcd3

  • Dataset Размер: 50.22 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / question_complexity_split

  • Dataset Размер: 52.81 MiB

  • расколы:

Расколоть Примеры
'test' 10 340
'train' 98 999
'validation' 10 339

cfq / question_pattern_split

  • Dataset Размер: 52.81 MiB

  • расколы:

Расколоть Примеры
'test' 11 909
'train' 95 654
'validation' 12 115

cfq / query_complexity_split

  • Dataset Размер: 52.81 MiB

  • расколы:

Расколоть Примеры
'test' 9 512
'train' 100 654
'validation' 9 512

cfq / query_pattern_split

  • Dataset Размер: 52.81 MiB

  • расколы:

Расколоть Примеры
'test' 12 589
'train' 94 600
'validation' 12 489

cfq / random_split

  • Dataset Размер: 52.81 MiB

  • расколы:

Расколоть Примеры
'test' 11 967
'train' 95 744
'validation' 11 967

cfq / cd0_r1

  • Dataset Размер: 49.72 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r2

  • Dataset Размер: 49.45 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r3

  • Dataset Размер: 49.76 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r4

  • Dataset Размер: 50.04 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r5

  • Dataset Размер: 49.36 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r6

  • Dataset Размер: 49.36 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r7

  • Dataset Размер: 49.93 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r8

  • Dataset Размер: 48.58 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0_r9

  • Dataset Размер: 49.23 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r1

  • Dataset Размер: 51.54 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r2

  • Dataset Размер: 48.18 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r3

  • Dataset Размер: 49.23 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r4

  • Dataset Размер: 49.76 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r5

  • Dataset Размер: 49.10 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r6

  • Dataset Размер: 49.10 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r7

  • Dataset Размер: 48.02 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r8

  • Dataset Размер: 48.13 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.1_r9

  • Dataset Размер: 48.44 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r1

  • Dataset Размер: 50.90 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r2

  • Dataset Размер: 49.12 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r3

  • Dataset Размер: 50.68 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r4

  • Dataset Размер: 52.61 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r5

  • Dataset Размер: 50.63 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r6

  • Dataset Размер: 50.63 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r7

  • Dataset Размер: 52.39 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r8

  • Dataset Размер: 50.53 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.2_r9

  • Dataset Размер: 50.64 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r1

  • Dataset Размер: 52.08 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r2

  • Dataset Размер: 52.11 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r3

  • Dataset Размер: 51.25 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r4

  • Dataset Размер: 49.94 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r5

  • Dataset Размер: 49.71 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r6

  • Dataset Размер: 49.71 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r7

  • Dataset Размер: 50.86 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r8

  • Dataset Размер: 49.43 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.3_r9

  • Dataset Размер: 50.32 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r1

  • Dataset Размер: 48.52 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r2

  • Dataset Размер: 47.40 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r3

  • Dataset Размер: 49.18 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r4

  • Dataset Размер: 47.86 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r5

  • Dataset Размер: 49.01 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r6

  • Dataset Размер: 49.01 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r7

  • Dataset Размер: 51.70 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r8

  • Dataset Размер: 50.94 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.4_r9

  • Dataset Размер: 51.98 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r1

  • Dataset Размер: 51.00 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r2

  • Dataset Размер: 49.91 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r3

  • Dataset Размер: 51.26 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r4

  • Dataset Размер: 51.27 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r5

  • Dataset Размер: 51.87 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r6

  • Dataset Размер: 51.87 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r7

  • Dataset Размер: 48.52 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r8

  • Dataset Размер: 48.62 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.5_r9

  • Dataset Размер: 48.48 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r1

  • Dataset Размер: 49.32 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r2

  • Dataset Размер: 49.36 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r3

  • Dataset Размер: 49.85 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r4

  • Dataset Размер: 50.07 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r5

  • Dataset Размер: 49.86 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r6

  • Dataset Размер: 49.86 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r7

  • Dataset Размер: 49.42 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r8

  • Dataset Размер: 48.52 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd0.6_r9

  • Dataset Размер: 49.54 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r1

  • Dataset Размер: 49.75 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r2

  • Dataset Размер: 49.07 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r3

  • Dataset Размер: 50.22 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r4

  • Dataset Размер: 49.12 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r5

  • Dataset Размер: 48.80 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r6

  • Dataset Размер: 48.80 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r7

  • Dataset Размер: 50.69 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r8

  • Dataset Размер: 51.39 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq / cd1_r9

  • Dataset Размер: 49.94 MiB

  • расколы:

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968