mimic_play

  • คำอธิบาย :

ชุดข้อมูลจริงของงานจัดการขอบฟ้ายาว 14 งาน การผสมผสานระหว่างข้อมูลการเล่นของมนุษย์และข้อมูลแขนหุ่นยนต์เดี่ยวที่ทำงานเดียวกัน

  • หน้าแรก : https://mimic-play.github.io/

  • ซอร์สโค้ด : tfds.robotics.rtx.MimicPlay

  • รุ่น :

    • 0.1.0 (ค่าเริ่มต้น): การเปิดตัวครั้งแรก
  • ขนาดการดาวน์โหลด : Unknown size

  • ขนาดชุดข้อมูล : 7.14 GiB

  • แคชอัตโนมัติ ( เอกสาร ): No

  • แยก :

แยก ตัวอย่าง
'train' 378
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'image': FeaturesDict({
                'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
                'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
            }),
            'state': FeaturesDict({
                'ee_pose': Tensor(shape=(7,), dtype=float32),
                'gripper_position': float32,
                'joint_positions': Tensor(shape=(7,), dtype=float32),
                'joint_velocities': Tensor(shape=(7,), dtype=float32),
            }),
            'wrist_image': FeaturesDict({
                'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
            }),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • เอกสารคุณสมบัติ :
คุณสมบัติ ระดับ รูปร่าง ประเภทD คำอธิบาย
คุณสมบัติDict
ตอนที่_ข้อมูลเมตา คุณสมบัติDict
ตอนที่_metadata/file_path เทนเซอร์ เชือก
ขั้นตอน ชุดข้อมูล
ขั้นตอน/การดำเนินการ เทนเซอร์ (7,) ลอย32
ขั้นตอน/ส่วนลด สเกลาร์ ลอย32
ขั้นตอน/is_first เทนเซอร์ บูล
ขั้นตอน/is_last เทนเซอร์ บูล
ขั้นตอน/is_terminal เทนเซอร์ บูล
ขั้นตอน/ภาษา_embedding เทนเซอร์ (512,) ลอย32
ขั้นตอน/Language_instruction เทนเซอร์ เชือก
ขั้นตอน/การสังเกต คุณสมบัติDict
ขั้นตอน/การสังเกต/ภาพ คุณสมบัติDict
ขั้นตอน/การสังเกต/ภาพ/front_image_1 ภาพ (120, 120, 3) uint8
ขั้นตอน/การสังเกต/ภาพ/front_image_2 ภาพ (120, 120, 3) uint8
ขั้นตอน/การสังเกต/สถานะ คุณสมบัติDict
ขั้นตอน/การสังเกต/สถานะ/ee_pose เทนเซอร์ (7,) ลอย32
ขั้นตอน/การสังเกต/สถานะ/กริปเปอร์_ตำแหน่ง เทนเซอร์ ลอย32
ขั้นตอน/การสังเกต/สถานะ/joint_positions เทนเซอร์ (7,) ลอย32
ขั้นตอน/การสังเกต/สถานะ/joint_velocities เทนเซอร์ (7,) ลอย32
ขั้นตอน/การสังเกต/wrist_image คุณสมบัติDict
ขั้นตอน/การสังเกต/wrist_image/wrist_image ภาพ (120, 120, 3) uint8
ขั้นตอน/รางวัล สเกลาร์ ลอย32
  • การอ้างอิง :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }