סריקה_מקורקעת

  • תיאור :

Grounded SCAN (gSCAN) הוא מערך נתונים סינתטי להערכת הכללה קומפוזיציית בהבנת שפה ממוקמת. gSCAN משלב הוראות שפה טבעית עם רצפי פעולה, ודורש מהסוכן לפרש הוראות בהקשר של סביבת ניווט חזותית מבוססת רשת.

מידע נוסף ניתן למצוא ב:

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=tf.string)),
    'manner': Text(shape=(), dtype=tf.string),
    'meaning': Sequence(Text(shape=(), dtype=tf.string)),
    'referred_target': Text(shape=(), dtype=tf.string),
    'situation': FeaturesDict({
        'agent_direction': tf.int32,
        'agent_position': FeaturesDict({
            'column': tf.int32,
            'row': tf.int32,
        }),
        'direction_to_target': Text(shape=(), dtype=tf.string),
        'distance_to_target': tf.int32,
        'grid_size': tf.int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=tf.string),
                'shape': Text(shape=(), dtype=tf.string),
                'size': tf.int32,
            }),
            'position': FeaturesDict({
                'column': tf.int32,
                'row': tf.int32,
            }),
            'vector': Text(shape=(), dtype=tf.string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=tf.string)),
    'verb_in_command': Text(shape=(), dtype=tf.string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
פקודה רצף (טקסט) (אף אחד,) tf.string
דֶרֶך טֶקסט tf.string
מַשְׁמָעוּת רצף (טקסט) (אף אחד,) tf.string
refer_target טֶקסט tf.string
מַצָב FeaturesDict
מצב/כיוון_סוכן מוֹתֵחַ tf.int32
מצב/עמדה_סוכן FeaturesDict
מצב/עמדה_סוכן/עמודה מוֹתֵחַ tf.int32
מצב/עמדה_סוכן/שורה מוֹתֵחַ tf.int32
מצב/כיוון_למטרה טֶקסט tf.string
מצב/מרחק_למטרה מוֹתֵחַ tf.int32
מצב/גודל_רשת מוֹתֵחַ tf.int32
מצב/חפצים_מוצבים סדר פעולות
מצב/חפצים_ממוקמים/אובייקט FeaturesDict
מצב/חפצים_ממוקמים/אובייקט/צבע טֶקסט tf.string
מצב/אובייקטים_מוצבים/אובייקט/צורה טֶקסט tf.string
situation/placed_objects/object/size מוֹתֵחַ tf.int32
מצב/הציבו_אובייקטים/עמדה FeaturesDict
מצב/חפצים_ממוקמים/מיקום/עמודה מוֹתֵחַ tf.int32
מצב/אובייקטים_ממוקמים/מיקום/שורה מוֹתֵחַ tf.int32
מצב/אובייקטים_ממוקמים/וקטור טֶקסט tf.string
מצב/אובייקט_יעד FeaturesDict
situation/target_object/object FeaturesDict
situation/target_object/object/color טֶקסט tf.string
מצב/יעד_אובייקט/אובייקט/צורה טֶקסט tf.string
situation/target_object/object/size מוֹתֵחַ tf.int32
מצב/אובייקט_יעד/עמדה FeaturesDict
situation/target_object/position/column מוֹתֵחַ tf.int32
situation/target_object/position/row מוֹתֵחַ tf.int32
מצב/אובייקט_יעד/וקטור טֶקסט tf.string
target_commands רצף (טקסט) (אף אחד,) tf.string
פועל_בפקודה טֶקסט tf.string
@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

grounded_scan/compositional_splits (תצורת ברירת מחדל)

  • תיאור תצורה : דוגמאות להכללה קומפוזיציית.

  • גודל הורדה : 82.10 MiB

  • גודל ערכת נתונים: 998.11 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'adverb_1' 112,880
'adverb_2' 38,582
'contextual' 11,460
'dev' 3,716
'situational_1' 88,642
'situational_2' 16,808
'test' 19,282
'train' 367,933
'visual' 37,436
'visual_easier' 18,718

grounded_scan/target_length_split

  • תיאור תצורה : דוגמאות להכללה לאורכי יעד גדולים יותר.

  • גודל הורדה : 53.41 MiB

  • גודל מערך נתונים : 546.73 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'dev' 1,821
'target_lengths' 198,588
'test' 37,784
'train' 180,301

סריקה_קרקעית/פיצולי_יחסים_מרחביים

  • תיאור תצורה : דוגמאות להנמקת יחסים מרחבית.

  • גודל הורדה : 89.59 MiB

  • גודל מערך נתונים : 675.09 MiB

  • פיצולים :

לְפַצֵל דוגמאות
'dev' 2,617
'referent' 30,492
'relation' 6,285
'relative_position_1' 41,576
'relative_position_2' 41,529
'test' 28,526
'train' 259,088
'visual' 62,250