O Dia da Comunidade de ML é dia 9 de novembro! Junte-nos para atualização de TensorFlow, JAX, e mais Saiba mais

cfq

  • Descrição:

O conjunto de dados CFQ (e suas divisões) para medir a generalização composicional.

Veja https://arxiv.org/abs/1912.09713.pdf para o fundo.

Uma nota sobre o conjunto de validação: Uma vez que tem a mesma distribuição como o conjunto de teste e estamos interessados em medir a generalização de composição de um modelo no que diz respeito a uma distribuição de teste desconhecido sugerimos que qualquer ajuste deve ser feito em um subconjunto do trem definido apenas (consulte a seção 5.1 do artigo).

Exemplo de uso:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq / mcd1 (configuração padrão)

  • Dataset tamanho: 49.75 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / mcd2

  • Dataset tamanho: 51.39 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / mcd3

  • Dataset tamanho: 50.22 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / question_complexity_split

  • Dataset tamanho: 52.81 MiB

  • desdobramentos:

Dividir Exemplos
'test' 10.340
'train' 98.999
'validation' 10.339

cfq / question_pattern_split

  • Dataset tamanho: 52.81 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.909
'train' 95.654
'validation' 12.115

cfq / query_complexity_split

  • Dataset tamanho: 52.81 MiB

  • desdobramentos:

Dividir Exemplos
'test' 9.512
'train' 100.654
'validation' 9.512

cfq / query_pattern_split

  • Dataset tamanho: 52.81 MiB

  • desdobramentos:

Dividir Exemplos
'test' 12.589
'train' 94.600
'validation' 12.489

cfq / random_split

  • Dataset tamanho: 52.81 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.967
'train' 95.744
'validation' 11.967

cfq / cd0_r1

  • Dataset tamanho: 49.72 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r2

  • Dataset tamanho: 49.45 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r3

  • Dataset tamanho: 49.76 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r4

  • Dataset tamanho: 50.04 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r5

  • Dataset tamanho: 49.36 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r6

  • Dataset tamanho: 49.36 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r7

  • Dataset tamanho: 49.93 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r8

  • Dataset tamanho: 48.58 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0_r9

  • Dataset tamanho: 49.23 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r1

  • Dataset tamanho: 51.54 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r2

  • Dataset tamanho: 48.18 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r3

  • Dataset tamanho: 49.23 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r4

  • Dataset tamanho: 49.76 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r5

  • Dataset tamanho: 49.10 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r6

  • Dataset tamanho: 49.10 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r7

  • Dataset tamanho: 48.02 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r8

  • Dataset tamanho: 48.13 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.1_r9

  • Dataset tamanho: 48.44 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r1

  • Dataset tamanho: 50.90 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r2

  • Dataset tamanho: 49.12 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r3

  • Dataset tamanho: 50.68 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r4

  • Dataset tamanho: 52.61 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r5

  • Dataset tamanho: 50.63 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r6

  • Dataset tamanho: 50.63 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r7

  • Dataset tamanho: 52.39 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r8

  • Dataset tamanho: 50.53 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.2_r9

  • Dataset tamanho: 50.64 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r1

  • Dataset tamanho: 52.08 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r2

  • Dataset tamanho: 52.11 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r3

  • Dataset tamanho: 51.25 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r4

  • Dataset tamanho: 49.94 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r5

  • Dataset tamanho: 49.71 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r6

  • Dataset tamanho: 49.71 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r7

  • Dataset tamanho: 50.86 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r8

  • Dataset tamanho: 49.43 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.3_r9

  • Dataset tamanho: 50.32 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r1

  • Dataset tamanho: 48.52 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r2

  • Dataset tamanho: 47.40 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r3

  • Dataset tamanho: 49.18 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r4

  • Dataset tamanho: 47.86 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r5

  • Dataset tamanho: 49.01 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r6

  • Dataset tamanho: 49.01 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r7

  • Dataset tamanho: 51.70 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r8

  • Dataset tamanho: 50.94 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.4_r9

  • Dataset tamanho: 51.98 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r1

  • Dataset tamanho: 51.00 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r2

  • Dataset tamanho: 49.91 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r3

  • Dataset tamanho: 51.26 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r4

  • Dataset tamanho: 51.27 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r5

  • Dataset tamanho: 51.87 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r6

  • Dataset tamanho: 51.87 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r7

  • Dataset tamanho: 48.52 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r8

  • Dataset tamanho: 48.62 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.5_r9

  • Dataset tamanho: 48.48 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r1

  • Dataset tamanho: 49.32 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r2

  • Dataset tamanho: 49.36 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r3

  • Dataset tamanho: 49.85 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r4

  • Dataset tamanho: 50.07 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r5

  • Dataset tamanho: 49.86 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r6

  • Dataset tamanho: 49.86 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r7

  • Dataset tamanho: 49.42 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r8

  • Dataset tamanho: 48.52 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd0.6_r9

  • Dataset tamanho: 49.54 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r1

  • Dataset tamanho: 49.75 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r2

  • Dataset tamanho: 49.07 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r3

  • Dataset tamanho: 50.22 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r4

  • Dataset tamanho: 49.12 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r5

  • Dataset tamanho: 48.80 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r6

  • Dataset tamanho: 48.80 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r7

  • Dataset tamanho: 50.69 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r8

  • Dataset tamanho: 51.39 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968

cfq / cd1_r9

  • Dataset tamanho: 49.94 MiB

  • desdobramentos:

Dividir Exemplos
'test' 11.968
'train' 95.743
'validation' 11.968