taco_play

  • شرح :

بازوی فرانکا در تعامل با آشپزخانه

شکاف مثال ها
'test' 361
'train' 3,242
  • ساختار ویژگی :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8),
            'robot_obs': Tensor(shape=(15,), dtype=float32),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
مراحل مجموعه داده
مراحل/عمل FeaturesDict
مراحل / اقدام / اقدامات تانسور (7،) float32 مقادیر مطلق مورد نظر برای حالت گیره (6 بعد اول x، y، z، انحراف، گام، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
Steps/action/rel_actions_gripper تانسور (7،) float32 اقدامات نسبی برای ژست گرفتن در قاب دوربین گیره (6 بعد اول x، y، z، انحراف، زمین، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
steps/action/rel_actions_world تانسور (7،) float32 اقدامات نسبی برای ژست گرفتن در قاب پایه ربات (6 بعد اول x، y، z، انحراف، گام، رول)، بعد آخر open_gripper (-1 گیره باز، 1 نزدیک است)
مراحل/عمل/پایان_اپیزود تانسور float32
Steps/is_first تانسور بوول
Steps/is_last تانسور بوول
Steps/is_terminal تانسور بوول
مراحل / مشاهده FeaturesDict
steps/observation/depth_gripper تانسور (84، 84) float32
مراحل/مشاهده/عمق_استاتیک تانسور (150، 200) float32
steps/observation/natural_language_embedding تانسور (512،) float32
مراحل/مشاهده/آموزش_زبان_طبیعی تانسور رشته آموزش زبان طبیعی یک آموزش زبان طبیعی است که به طور تصادفی بر اساس مترادف های کار بالقوه مشتق شده از تکلیف زبان ساختاریافته نمونه برداری شده است. برای مثال، «نور آبی را خاموش کنید» ممکن است برای «خاموش کردن نور رنگ آبی» نگاشت شود.
steps/observation/rgb_gripper تصویر (84، 84، 3) uint8
steps/observation/rgb_static تصویر (150، 200، 3) uint8 تصویر ثابت RGB از شکل. (150، 200، 3). نمونه فرعی از (200,200, 3) تصویر.
steps/observation/robot_obs تانسور (15،) float32 موقعیت EE (3)، جهت گیری EE در زوایای اویلر (3)، عرض گیره (1)، موقعیت های مفصل (7)، عمل گریپر (1)
مراحل/مشاهده/ساختار_زبان_دستورالعمل تانسور رشته یکی از 25 دستورالعمل زبان ساخت یافته ممکن، لیست را در https://arxiv.org/pdf/2210.01911.pdf جدول 2 ببینید.
مراحل/پاداش اسکالر float32
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}