Grounded_scan

  • 説明:

Grounded SCAN (gSCAN) は、状況に応じた言語理解における構成的一般化を評価するための合成データセットです。 gSCAN は、自然言語の指示とアクション シーケンスを組み合わせ、エージェントがグリッドベースのビジュアル ナビゲーション環境のコンテキスト内で指示を解釈することを要求します。

詳細については、次を参照してください。

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=string)),
    'manner': Text(shape=(), dtype=string),
    'meaning': Sequence(Text(shape=(), dtype=string)),
    'referred_target': Text(shape=(), dtype=string),
    'situation': FeaturesDict({
        'agent_direction': int32,
        'agent_position': FeaturesDict({
            'column': int32,
            'row': int32,
        }),
        'direction_to_target': Text(shape=(), dtype=string),
        'distance_to_target': int32,
        'grid_size': int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=string)),
    'verb_in_command': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
指図シーケンス(テキスト) (なし、)ストリング
マナー文章ストリング
意味シーケンス(テキスト) (なし、)ストリング
参照先文章ストリング
状況特徴辞書
シチュエーション/agent_directionテンソルint32
シチュエーション/agent_position特徴辞書
シチュエーション/エージェントの位置/列テンソルint32
シチュエーション/エージェントの位置/行テンソルint32
シチュエーション/対象への方向文章ストリング
状況/目標までの距離テンソルint32
シチュエーション/grid_sizeテンソルint32
シチュエーション/placed_objects順序
シチュエーション/placed_objects/オブジェクト特徴辞書
シチュエーション/placed_objects/オブジェクト/色文章ストリング
シチュエーション/placed_objects/オブジェクト/シェイプ文章ストリング
シチュエーション/placed_objects/オブジェクト/サイズテンソルint32
シチュエーション/placed_objects/position特徴辞書
シチュエーション/placed_objects/position/columnテンソルint32
シチュエーション/placed_objects/position/rowテンソルint32
シチュエーション/placed_objects/vector文章ストリング
シチュエーション/ターゲット_オブジェクト特徴辞書
シチュエーション/ターゲット_オブジェクト/オブジェクト特徴辞書
シチュエーション/ターゲット_オブジェクト/オブジェクト/色文章ストリング
シチュエーション/ターゲットオブジェクト/オブジェクト/形状文章ストリング
シチュエーション/ターゲット_オブジェクト/オブジェクト/サイズテンソルint32
シチュエーション/ターゲット_オブジェクト/位置特徴辞書
シチュエーション/対象物/位置/列テンソルint32
シチュエーション/ターゲットオブジェクト/位置/行テンソルint32
シチュエーション/ターゲット_オブジェクト/ベクトル文章ストリング
target_commandsシーケンス(テキスト) (なし、)ストリング
verb_in_command文章ストリング
@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

Grounded_scan/compositional_splits (デフォルト設定)

  • 構成の説明: 構成の一般化の例。

  • ダウンロードサイズ: 82.10 MiB

  • データセットサイズ: 998.11 MiB

  • スプリット:

スプリット
'adverb_1' 112,880
'adverb_2' 38,582
'contextual' 11,460
'dev' 3,716
'situational_1' 88,642
'situational_2' 16,808
'test' 19,282
'train' 367,933
'visual' 37,436
'visual_easier' 18,718

Grounded_scan/target_length_split

  • 構成の説明: より大きなターゲットの長さに一般化するための例。

  • ダウンロードサイズ: 53.41 MiB

  • データセットのサイズ: 546.73 MiB

  • スプリット:

スプリット
'dev' 1,821
'target_lengths' 198,588
'test' 37,784
'train' 180,301

Grounded_scan/spatial_relation_splits

  • 構成の説明: 空間関係推論の例。

  • ダウンロードサイズ: 89.59 MiB

  • データセットのサイズ: 675.09 MiB

  • スプリット:

スプリット
'dev' 2,617
'referent' 30,492
'relation' 6,285
'relative_position_1' 41,576
'relative_position_2' 41,529
'test' 28,526
'train' 259,088
'visual' 62,250