- Описание :
Grounded SCAN (gSCAN) — это синтетический набор данных для оценки композиционного обобщения в понимании ситуативного языка. gSCAN сочетает инструкции на естественном языке с последовательностями действий и требует, чтобы агент интерпретировал инструкции в контексте среды визуальной навигации на основе сетки.
Дополнительную информацию можно найти по адресу:
Для
target_length_split
compositional_splits
https://github.com/LauraRuis/groundedSCANДля
spatial_relation_splits
: https://github.com/google-research/language/tree/master/language/gscan/dataДомашняя страница : https://github.com/LauraRuis/groundedSCAN
Исходный код :
tfds.vision_language.grounded_scan.GroundedScan
Версии :
-
1.0.0
: Первоначальный выпуск. -
1.1.0
: функцияvector
изменена на Text(). -
2.0.0
(по умолчанию) : добавляет новую конфигурацию пространственного_отношения_splits.
-
Автоматическое кэширование ( документация ): Нет
Особенности :
FeaturesDict({
'command': Sequence(Text(shape=(), dtype=tf.string)),
'manner': Text(shape=(), dtype=tf.string),
'meaning': Sequence(Text(shape=(), dtype=tf.string)),
'referred_target': Text(shape=(), dtype=tf.string),
'situation': FeaturesDict({
'agent_direction': tf.int32,
'agent_position': FeaturesDict({
'column': tf.int32,
'row': tf.int32,
}),
'direction_to_target': Text(shape=(), dtype=tf.string),
'distance_to_target': tf.int32,
'grid_size': tf.int32,
'placed_objects': Sequence({
'object': FeaturesDict({
'color': Text(shape=(), dtype=tf.string),
'shape': Text(shape=(), dtype=tf.string),
'size': tf.int32,
}),
'position': FeaturesDict({
'column': tf.int32,
'row': tf.int32,
}),
'vector': Text(shape=(), dtype=tf.string),
}),
'target_object': FeaturesDict({
'object': FeaturesDict({
'color': Text(shape=(), dtype=tf.string),
'shape': Text(shape=(), dtype=tf.string),
'size': tf.int32,
}),
'position': FeaturesDict({
'column': tf.int32,
'row': tf.int32,
}),
'vector': Text(shape=(), dtype=tf.string),
}),
}),
'target_commands': Sequence(Text(shape=(), dtype=tf.string)),
'verb_in_command': Text(shape=(), dtype=tf.string),
})
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@inproceedings{NEURIPS2020_e5a90182,
author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
booktitle = {Advances in Neural Information Processing Systems},
editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
pages = {19861--19872},
publisher = {Curran Associates, Inc.},
title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
volume = {33},
year = {2020}
}
@inproceedings{qiu-etal-2021-systematic,
title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
author = "Qiu, Linlu and
Hu, Hexiang and
Zhang, Bowen and
Shaw, Peter and
Sha, Fei",
booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2021",
address = "Online and Punta Cana, Dominican Republic",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.emnlp-main.166",
doi = "10.18653/v1/2021.emnlp-main.166",
pages = "2180--2188",
}
Grounded_scan/compositional_splits (конфигурация по умолчанию)
Описание конфига : Примеры композиционного обобщения.
Размер загрузки :
82.10 MiB
Размер набора данных :
998.11 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'adverb_1' | 112 880 |
'adverb_2' | 38 582 |
'contextual' | 11 460 |
'dev' | 3716 |
'situational_1' | 88 642 |
'situational_2' | 16 808 |
'test' | 19 282 |
'train' | 367 933 |
'visual' | 37 436 |
'visual_easier' | 18 718 |
- Примеры ( tfds.as_dataframe ):
Grounded_scan/target_length_split
Описание конфигурации : примеры обобщения на большие длины целей.
Размер загрузки :
53.41 MiB
Размер набора данных :
546.73 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'dev' | 1821 |
'target_lengths' | 198 588 |
'test' | 37 784 |
'train' | 180 301 |
- Примеры ( tfds.as_dataframe ):
Grounded_scan/spatial_relation_splits
Описание конфигурации : примеры рассуждений о пространственных отношениях.
Размер загрузки :
89.59 MiB
Размер набора данных :
675.09 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'dev' | 2617 |
'referent' | 30 492 |
'relation' | 6285 |
'relative_position_1' | 41 576 |
'relative_position_2' | 41 529 |
'test' | 28 526 |
'train' | 259 088 |
'visual' | 62 250 |
- Примеры ( tfds.as_dataframe ):