cfq

  • Açıklama :

Bileşimsel genellemeyi ölçmek için CFQ veri kümesi (ve bölümleri).

Arka plan için bkz. https://arxiv.org/abs/1912.09713.pdf .

Doğrulama seti hakkında bir not: Test seti ile aynı dağılıma sahip olduğundan ve bir modelin bilinmeyen bir test dağılımına göre bileşimsel genellemesini ölçmekle ilgilendiğimiz için, herhangi bir ayarlamanın trenin bir alt kümesinde yapılması gerektiğini öneriyoruz. ayarlayın (kağıdın 5.1 bölümüne bakın).

Örnek kullanım:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
sorgu Metin tf.string
soru Metin tf.string
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (varsayılan yapılandırma)

  • Veri kümesi boyutu : 49.75 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd2

  • Veri kümesi boyutu : 51.39 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/mcd3

  • Veri kümesi boyutu : 50.22 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/question_complexity_split

  • Veri kümesi boyutu : 52.81 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 10.340
'train' 98,999
'validation' 10.339

cfq/question_pattern_split

  • Veri kümesi boyutu : 52.81 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.909
'train' 95.654
'validation' 12.115

cfq/query_complexity_split

  • Veri kümesi boyutu : 52.81 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 9,512
'train' 100.654
'validation' 9,512

cfq/query_pattern_split

  • Veri kümesi boyutu : 52.81 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 12.589
'train' 94.600
'validation' 12.489

cfq/random_split

  • Veri kümesi boyutu : 52.81 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.967
'train' 95.744
'validation' 11.967

cfq/cd0_r1

  • Veri kümesi boyutu : 49.72 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r2

  • Veri kümesi boyutu : 49.45 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r3

  • Veri kümesi boyutu : 49.76 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r4

  • Veri kümesi boyutu : 50.04 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r5

  • Veri kümesi boyutu : 49.36 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r6

  • Veri kümesi boyutu : 49.36 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r7

  • Veri kümesi boyutu : 49.93 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r8

  • Veri kümesi boyutu : 48.58 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0_r9

  • Veri kümesi boyutu : 49.23 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r1

  • Veri kümesi boyutu : 51.54 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r2

  • Veri kümesi boyutu : 48.18 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r3

  • Veri kümesi boyutu : 49.23 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r4

  • Veri kümesi boyutu : 49.76 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r5

  • Veri kümesi boyutu : 49.10 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r6

  • Veri kümesi boyutu : 49.10 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r7

  • Veri kümesi boyutu : 48.02 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r8

  • Veri kümesi boyutu : 48.13 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.1_r9

  • Veri kümesi boyutu : 48.44 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r1

  • Veri kümesi boyutu : 50.90 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r2

  • Veri kümesi boyutu : 49.12 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r3

  • Veri kümesi boyutu : 50.68 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r4

  • Veri kümesi boyutu : 52.61 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r5

  • Veri kümesi boyutu : 50.63 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r6

  • Veri kümesi boyutu : 50.63 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r7

  • Veri kümesi boyutu : 52.39 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r8

  • Veri kümesi boyutu : 50.53 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.2_r9

  • Veri kümesi boyutu : 50.64 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r1

  • Veri kümesi boyutu : 52.08 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r2

  • Veri kümesi boyutu : 52.11 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r3

  • Veri kümesi boyutu : 51.25 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r4

  • Veri kümesi boyutu : 49.94 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r5

  • Veri kümesi boyutu : 49.71 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r6

  • Veri kümesi boyutu : 49.71 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r7

  • Veri kümesi boyutu : 50.86 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r8

  • Veri kümesi boyutu : 49.43 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.3_r9

  • Veri kümesi boyutu : 50.32 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r1

  • Veri kümesi boyutu : 48.52 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r2

  • Veri kümesi boyutu : 47.40 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r3

  • Veri kümesi boyutu : 49.18 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r4

  • Veri kümesi boyutu : 47.86 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r5

  • Veri kümesi boyutu : 49.01 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r6

  • Veri kümesi boyutu : 49.01 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r7

  • Veri kümesi boyutu : 51.70 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r8

  • Veri kümesi boyutu : 50.94 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.4_r9

  • Veri kümesi boyutu : 51.98 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r1

  • Veri kümesi boyutu : 51.00 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r2

  • Veri kümesi boyutu : 49.91 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r3

  • Veri kümesi boyutu : 51.26 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r4

  • Veri kümesi boyutu : 51.27 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r5

  • Veri kümesi boyutu : 51.87 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r6

  • Veri kümesi boyutu : 51.87 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r7

  • Veri kümesi boyutu : 48.52 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r8

  • Veri kümesi boyutu : 48.62 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.5_r9

  • Veri kümesi boyutu : 48.48 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r1

  • Veri kümesi boyutu : 49.32 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r2

  • Veri kümesi boyutu : 49.36 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r3

  • Veri kümesi boyutu : 49.85 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r4

  • Veri kümesi boyutu : 50.07 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r5

  • Veri kümesi boyutu : 49.86 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r6

  • Veri kümesi boyutu : 49.86 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r7

  • Veri kümesi boyutu : 49.42 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r8

  • Veri kümesi boyutu : 48.52 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd0.6_r9

  • Veri kümesi boyutu : 49.54 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r1

  • Veri kümesi boyutu : 49.75 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r2

  • Veri kümesi boyutu : 49.07 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r3

  • Veri kümesi boyutu : 50.22 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r4

  • Veri kümesi boyutu : 49.12 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r5

  • Veri kümesi boyutu : 48.80 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r6

  • Veri kümesi boyutu : 48.80 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r7

  • Veri kümesi boyutu : 50.69 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r8

  • Veri kümesi boyutu : 51.39 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968

cfq/cd1_r9

  • Veri kümesi boyutu : 49.94 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 11.968
'train' 95.743
'validation' 11.968