mimic_play

  • Tanım :

14 uzun ufuklu manipülasyon görevinden oluşan gerçek veri kümesi. Aynı görevleri gerçekleştiren insan oyunu verileri ve tek robot kolu verilerinin bir karışımı.

Bölmek Örnekler
'train' 378
  • Özellik yapısı :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'image': FeaturesDict({
                'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
                'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
            }),
            'state': FeaturesDict({
                'ee_pose': Tensor(shape=(7,), dtype=float32),
                'gripper_position': float32,
                'joint_positions': Tensor(shape=(7,), dtype=float32),
                'joint_velocities': Tensor(shape=(7,), dtype=float32),
            }),
            'wrist_image': FeaturesDict({
                'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
            }),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_meta verileri ÖzelliklerDict
bölüm_metadata/dosya_yolu Tensör sicim
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta32
adımlar/indirim Skaler kayan nokta32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/dil_embedding Tensör (512,) kayan nokta32
adımlar/language_instruction Tensör sicim
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/görüntü ÖzelliklerDict
adımlar/gözlem/görüntü/front_image_1 Resim (120, 120, 3) uint8
adımlar/gözlem/görüntü/front_image_2 Resim (120, 120, 3) uint8
adımlar/gözlem/durum ÖzelliklerDict
adımlar/gözlem/durum/ee_pose Tensör (7,) kayan nokta32
adımlar/gözlem/durum/tutucu_konumu Tensör kayan nokta32
adımlar/gözlem/durum/eklem_pozisyonları Tensör (7,) kayan nokta32
adımlar/gözlem/durum/ortak_hızlar Tensör (7,) kayan nokta32
adımlar/gözlem/wrist_image ÖzelliklerDict
adımlar/gözlem/wrist_image/wrist_image Resim (120, 120, 3) uint8
adımlar/ödül Skaler kayan nokta32
  • Alıntı :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }