- Описание :
СКАНИРОВАТЬ задачи с различными разбиениями.
SCAN - это набор простых языковых навигационных задач для изучения композиционного обучения и произвольного обобщения.
Большинство разделений описано на https://github.com/brendenlake/SCAN. Разделы MCD см. На https://arxiv.org/abs/1912.09713.pdf.
Основное использование:
data = tfds.load('scan/length')
Более сложный пример:
data = tfds.load(
'scan',
builder_kwargs=dict(
config=tfds.text.ScanConfig(
name='simple_p8', directory='simple_split/size_variations')))
Домашняя страница : https://github.com/brendenlake/SCAN
Исходный код :
tfds.text.Scan
Версии :
-
1.1.1
(по умолчанию): без примечаний к выпуску.
-
Автоматическое кэширование ( документация ): Да
Особенности :
FeaturesDict({
'actions': Text(shape=(), dtype=tf.string),
'commands': Text(shape=(), dtype=tf.string),
})
Контролируемые ключи (см.
as_supervised
doc ):('commands', 'actions')
Цитата :
@inproceedings{Lake2018GeneralizationWS,
title={Generalization without Systematicity: On the Compositional Skills of
Sequence-to-Sequence Recurrent Networks},
author={Brenden M. Lake and Marco Baroni},
booktitle={ICML},
year={2018},
url={https://arxiv.org/pdf/1711.00350.pdf},
}
@inproceedings{Keysers2020,
title={Measuring Compositional Generalization: A Comprehensive Method on
Realistic Data},
author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
Hylke Buisman and Daniel Furrer and Sergii Kashubin and
Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
Olivier Bousquet},
note={Additional citation for MCD splits},
booktitle={ICLR},
year={2020},
url={https://arxiv.org/abs/1912.09713.pdf},
}
- Рисунок ( tfds.show_examples ): не поддерживается.
сканирование / простое (конфигурация по умолчанию)
Размер загрузки :
17.82 MiB
Размер набора данных :
4.47 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 4 182 |
'train' | 16 728 |
- Примеры ( tfds.as_dataframe ):
сканирование / addprim_jump
Размер загрузки :
17.82 MiB
Размер набора данных :
4.53 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 7 706 |
'train' | 14 670 |
- Примеры ( tfds.as_dataframe ):
сканирование / addprim_turn_left
Размер загрузки :
17.82 MiB
Размер набора данных :
4.58 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1 208 |
'train' | 21 890 |
- Примеры ( tfds.as_dataframe ):
scan / filler_num0
Размер загрузки :
17.82 MiB
Размер набора данных :
3.20 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,173 |
'train' | 15,225 |
- Примеры ( tfds.as_dataframe ):
scan / filler_num1
Размер загрузки :
17.82 MiB
Размер набора данных :
3.51 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,173 |
'train' | 16 290 |
- Примеры ( tfds.as_dataframe ):
scan / filler_num2
Размер загрузки :
17.82 MiB
Размер набора данных :
3.84 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,173 |
'train' | 17 391 |
- Примеры ( tfds.as_dataframe ):
scan / filler_num3
Размер загрузки :
17.82 MiB
Размер набора данных :
4.17 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,173 |
'train' | 18 528 |
- Примеры ( tfds.as_dataframe ):
сканирование / длина
Размер загрузки :
17.82 MiB
Размер набора данных :
4.47 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 3 920 |
'train' | 16 990 |
- Примеры ( tfds.as_dataframe ):
сканирование / template_around_right
Размер загрузки :
17.82 MiB
Размер набора данных :
4.17 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 4 476 |
'train' | 15,225 |
- Примеры ( tfds.as_dataframe ):
сканирование / template_jump_around_right
Размер загрузки :
17.82 MiB
Размер набора данных :
4.17 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,173 |
'train' | 18 528 |
- Примеры ( tfds.as_dataframe ):
сканирование / template_opposite_right
Размер загрузки :
17.82 MiB
Размер набора данных :
4.22 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 4 476 |
'train' | 15,225 |
- Примеры ( tfds.as_dataframe ):
сканирование / template_right
Размер загрузки :
17.82 MiB
Размер набора данных :
4.26 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 4 476 |
'train' | 15,225 |
- Примеры ( tfds.as_dataframe ):
сканирование / mcd1
Размер загрузки :
17.89 MiB
Размер набора данных :
1.89 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,045 |
'train' | 8 365 |
- Примеры ( tfds.as_dataframe ):
сканирование / mcd2
Размер загрузки :
17.89 MiB
Размер набора данных :
1.84 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,045 |
'train' | 8 365 |
- Примеры ( tfds.as_dataframe ):
сканирование / mcd3
Размер загрузки :
17.89 MiB
Размер набора данных :
1.87 MiB
Сплит :
Трещина | Примеры |
---|---|
'test' | 1,045 |
'train' | 8 365 |
- Примеры ( tfds.as_dataframe ):