cfq

  • opis :

Zbiór danych CFQ (i jego podziały) do pomiaru uogólnienia składu.

Zobacz https://arxiv.org/abs/1912.09713.pdf dla tła.

Uwaga na temat zbioru walidacyjnego: Ponieważ ma on taki sam rozkład jak zbiór testowy, a my jesteśmy zainteresowani zmierzeniem uogólnienia składu modelu w odniesieniu do nieznanego rozkładu testowego, sugerujemy, aby wszelkie strojenie było wykonywane na podzbiorze pociągu tylko zestaw (patrz sekcja 5.1 artykułu).

Przykładowe użycie:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
zapytanie Tekst strunowy
pytanie Tekst strunowy
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (domyślna konfiguracja)

  • Rozmiar zestawu danych : 49.75 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/mcd2

  • Rozmiar zestawu danych : 51.39 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/mcd3

  • Rozmiar zestawu danych : 50.22 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/question_complexity_split

  • Rozmiar zestawu danych : 52.81 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 10340
'train' 98 999
'validation' 10339

cfq/question_pattern_split

  • Rozmiar zestawu danych : 52.81 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11909
'train' 95654
'validation' 12115

cfq/query_complexity_split

  • Rozmiar zestawu danych : 52.81 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 9512
'train' 100654
'validation' 9512

cfq/query_pattern_split

  • Rozmiar zestawu danych : 52.81 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 12589
'train' 94600
'validation' 12489

cfq/random_split

  • Rozmiar zestawu danych : 52.81 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 967
'train' 95744
'validation' 11 967

cfq/cd0_r1

  • Rozmiar zestawu danych : 49.72 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r2

  • Rozmiar zestawu danych : 49.45 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r3

  • Rozmiar zestawu danych : 49.76 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r4

  • Rozmiar zestawu danych : 50.04 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r5

  • Rozmiar zestawu danych : 49.36 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r6

  • Rozmiar zestawu danych : 49.36 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r7

  • Rozmiar zestawu danych : 49.93 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r8

  • Rozmiar zestawu danych : 48.58 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0_r9

  • Rozmiar zestawu danych : 49.23 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r1

  • Rozmiar zestawu danych : 51.54 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r2

  • Rozmiar zestawu danych : 48.18 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r3

  • Rozmiar zestawu danych : 49.23 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r4

  • Rozmiar zestawu danych : 49.76 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r5

  • Rozmiar zestawu danych : 49.10 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r6

  • Rozmiar zestawu danych : 49.10 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r7

  • Rozmiar zestawu danych : 48.02 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r8

  • Rozmiar zestawu danych : 48.13 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.1_r9

  • Rozmiar zestawu danych : 48.44 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r1

  • Rozmiar zestawu danych : 50.90 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r2

  • Rozmiar zestawu danych : 49.12 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r3

  • Rozmiar zestawu danych : 50.68 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r4

  • Rozmiar zestawu danych : 52.61 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r5

  • Rozmiar zestawu danych : 50.63 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r6

  • Rozmiar zestawu danych : 50.63 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r7

  • Rozmiar zestawu danych : 52.39 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r8

  • Rozmiar zestawu danych : 50.53 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.2_r9

  • Rozmiar zestawu danych : 50.64 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r1

  • Rozmiar zestawu danych : 52.08 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r2

  • Rozmiar zestawu danych : 52.11 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r3

  • Rozmiar zestawu danych : 51.25 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r4

  • Rozmiar zestawu danych : 49.94 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r5

  • Rozmiar zestawu danych : 49.71 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r6

  • Rozmiar zestawu danych : 49.71 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r7

  • Rozmiar zestawu danych : 50.86 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r8

  • Rozmiar zestawu danych : 49.43 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.3_r9

  • Rozmiar zestawu danych : 50.32 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r1

  • Rozmiar zestawu danych : 48.52 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r2

  • Rozmiar zestawu danych : 47.40 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r3

  • Rozmiar zestawu danych : 49.18 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r4

  • Rozmiar zestawu danych : 47.86 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r5

  • Rozmiar zestawu danych : 49.01 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r6

  • Rozmiar zestawu danych : 49.01 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r7

  • Rozmiar zestawu danych : 51.70 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r8

  • Rozmiar zestawu danych : 50.94 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.4_r9

  • Rozmiar zestawu danych : 51.98 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r1

  • Rozmiar zestawu danych : 51.00 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r2

  • Rozmiar zestawu danych : 49.91 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r3

  • Rozmiar zestawu danych : 51.26 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r4

  • Rozmiar zestawu danych : 51.27 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r5

  • Rozmiar zestawu danych : 51.87 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r6

  • Rozmiar zestawu danych : 51.87 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r7

  • Rozmiar zestawu danych : 48.52 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r8

  • Rozmiar zestawu danych : 48.62 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.5_r9

  • Rozmiar zestawu danych : 48.48 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r1

  • Rozmiar zestawu danych : 49.32 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r2

  • Rozmiar zestawu danych : 49.36 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r3

  • Rozmiar zestawu danych : 49.85 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r4

  • Rozmiar zestawu danych : 50.07 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r5

  • Rozmiar zestawu danych : 49.86 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r6

  • Rozmiar zestawu danych : 49.86 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r7

  • Rozmiar zestawu danych : 49.42 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r8

  • Rozmiar zestawu danych : 48.52 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd0.6_r9

  • Rozmiar zestawu danych : 49.54 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r1

  • Rozmiar zestawu danych : 49.75 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r2

  • Rozmiar zestawu danych : 49.07 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r3

  • Rozmiar zestawu danych : 50.22 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r4

  • Rozmiar zestawu danych : 49.12 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r5

  • Rozmiar zestawu danych : 48.80 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r6

  • Rozmiar zestawu danych : 48.80 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r7

  • Rozmiar zestawu danych : 50.69 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r8

  • Rozmiar zestawu danych : 51.39 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968

cfq/cd1_r9

  • Rozmiar zestawu danych : 49.94 MiB

  • Podziały :

Rozdzielać Przykłady
'test' 11 968
'train' 95743
'validation' 11 968