Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

сканировать

  • Описание:

СКАНИРОВАТЬ задачи с различными разбиениями.

SCAN - это набор простых языковых навигационных задач для изучения композиционного обучения и обобщения с нулевым выстрелом.

Большинство расколов описаны в https://github.com/brendenlake/SCAN Для MCD расколов см https://arxiv.org/abs/1912.09713.pdf

Основное использование:

data = tfds.load('scan/length')

Более сложный пример:

data = tfds.load(
    'scan',
    builder_kwargs=dict(
        config=tfds.text.ScanConfig(
            name='simple_p8', directory='simple_split/size_variations')))
FeaturesDict({
    'actions': Text(shape=(), dtype=tf.string),
    'commands': Text(shape=(), dtype=tf.string),
})
@inproceedings{Lake2018GeneralizationWS,
  title={Generalization without Systematicity: On the Compositional Skills of
         Sequence-to-Sequence Recurrent Networks},
  author={Brenden M. Lake and Marco Baroni},
  booktitle={ICML},
  year={2018},
  url={https://arxiv.org/pdf/1711.00350.pdf},
}
@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  note={Additional citation for MCD splits},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

сканирование / простое (конфигурация по умолчанию)

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.47 MiB

  • расколы:

Расколоть Примеры
'test' 4 182
'train' 16 728

сканирование / addprim_jump

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.53 MiB

  • расколы:

Расколоть Примеры
'test' 7 706
'train' 14 670

сканирование / addprim_turn_left

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.58 MiB

  • расколы:

Расколоть Примеры
'test' 1 208
'train' 21 890

scan / filler_num0

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 3.20 MiB

  • расколы:

Расколоть Примеры
'test' 1,173
'train' 15,225

scan / filler_num1

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 3.51 MiB

  • расколы:

Расколоть Примеры
'test' 1,173
'train' 16 290

scan / filler_num2

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 3.84 MiB

  • расколы:

Расколоть Примеры
'test' 1,173
'train' 17 391

scan / filler_num3

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.17 MiB

  • расколы:

Расколоть Примеры
'test' 1,173
'train' 18 528

сканирование / длина

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.47 MiB

  • расколы:

Расколоть Примеры
'test' 3 920
'train' 16 990

сканирование / template_around_right

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.17 MiB

  • расколы:

Расколоть Примеры
'test' 4 476
'train' 15,225

сканирование / template_jump_around_right

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.17 MiB

  • расколы:

Расколоть Примеры
'test' 1,173
'train' 18 528

scan / template_opposite_right

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.22 MiB

  • расколы:

Расколоть Примеры
'test' 4 476
'train' 15,225

сканирование / template_right

  • Скачать Размер: 17.82 MiB

  • Dataset Размер: 4.26 MiB

  • расколы:

Расколоть Примеры
'test' 4 476
'train' 15,225

сканирование / mcd1

  • Скачать Размер: 17.89 MiB

  • Dataset Размер: 1.89 MiB

  • расколы:

Расколоть Примеры
'test' 1,045
'train' 8 365

сканирование / mcd2

  • Скачать Размер: 17.89 MiB

  • Dataset Размер: 1.84 MiB

  • расколы:

Расколоть Примеры
'test' 1,045
'train' 8 365

сканирование / mcd3

  • Скачать Размер: 17.89 MiB

  • Dataset Размер: 1.87 MiB

  • расколы:

Расколоть Примеры
'test' 1045
'train' 8 365