fmb

  • Tanım :

Veri setimiz farklı görünüm ve geometrideki nesnelerden oluşur. Rastgele bir sahnede mandalları sabit olmayan bir tahtaya başarıyla monte etmek çok aşamalı ve çok modlu ince motor becerileri gerektirir. Franka Panda kolunda iki farklı görevde toplam 22.550 yörünge topladık. Yörüngeleri 2 küresel görünümden ve 2 bilek görünümünden kaydediyoruz. Her görünüm hem RGB hem de derinlik haritasını içerir.

Bölmek Örnekler
'train' 1.804
  • Özellik yapısı :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_meta verileri ÖzelliklerDict
Episode_metadata/episode_language_embedding Tensör (512,) kayan nokta32
Episode_metadata/episode_language_instruction Tensör sicim
bölüm_metadata/episode_task Tensör sicim
bölüm_metadata/dosya_yolu Tensör sicim
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta32
adımlar/indirim Skaler kayan nokta32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/dil_embedding Tensör (512,) kayan nokta32
adımlar/language_instruction Tensör sicim
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/renk_id Skaler uint8
adımlar/gözlem/eef_force Tensör (3,) kayan nokta32
adımlar/gözlem/eef_pose Tensör (7,) kayan nokta32
adımlar/gözlem/eef_torque Tensör (3,) kayan nokta32
adımlar/gözlem/eef_vel Tensör (6,) kayan nokta32
adımlar/gözlem/image_side_1 Resim (256, 256, 3) uint8
adımlar/gözlem/image_side_1_length Tensör (256, 256) kayan nokta32
adımlar/gözlem/image_side_2 Resim (256, 256, 3) uint8
adımlar/gözlem/image_side_2_length Tensör (256, 256) kayan nokta32
adımlar/gözlem/image_wrist_1 Resim (256, 256, 3) uint8
adımlar/gözlem/image_wrist_1_length Tensör (256, 256) kayan nokta32
adımlar/gözlem/image_wrist_2 Resim (256, 256, 3) uint8
adımlar/gözlem/image_wrist_2_length Tensör (256, 256) kayan nokta32
adımlar/gözlem/ortak_pos Tensör (7,) kayan nokta32
adımlar/gözlem/joint_vel Tensör (7,) kayan nokta32
adımlar/gözlem/uzunluk Tensör sicim
adımlar/gözlem/object_id Skaler uint8
adımlar/gözlem/ilkel Tensör sicim
adımlar/gözlem/şekil_kimliği Skaler uint8
adımlar/gözlem/boyut Tensör sicim
adımlar/gözlem/state_gripper_pose Skaler kayan nokta32
adımlar/ödül Skaler kayan nokta32
  • Alıntı :
https://doi.org/10.48550/arXiv.2401.08553