fmb

  • Descripción :

Nuestro conjunto de datos consta de objetos con diversas apariencias y geometrías. Se requieren habilidades motoras finas multimodales y de múltiples etapas para ensamblar con éxito las clavijas en un tablero no fijado en una escena aleatoria. Recopilamos un total de 22.550 trayectorias en dos tareas diferentes en un brazo de Franka Panda. Registramos las trayectorias desde 2 vistas globales y 2 vistas de muñeca. Cada vista contiene RGB y mapa de profundidad.

Dividir Ejemplos
'train' 1.804
  • Estructura de características :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
episodio_metadatos FuncionesDict
episodio_metadatos/episodio_idioma_incrustación Tensor (512,) flotador32
episodio_metadatos/episodio_idioma_instrucción Tensor cadena
episodio_metadatos/episodio_tarea Tensor cadena
metadatos_episodio/ruta_archivo Tensor cadena
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador32
pasos/descuento Escalar flotador32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/idioma_incrustación Tensor (512,) flotador32
pasos/instrucción_idioma Tensor cadena
pasos/observación FuncionesDict
pasos/observación/color_id Escalar uint8
pasos/observación/eef_force Tensor (3,) flotador32
pasos/observación/eef_pose Tensor (7,) flotador32
pasos/observación/eef_torque Tensor (3,) flotador32
pasos/observación/eef_vel Tensor (6,) flotador32
pasos/observación/imagen_side_1 Imagen (256, 256, 3) uint8
pasos/observación/imagen_side_1_profundidad Tensor (256, 256) flotador32
pasos/observación/imagen_side_2 Imagen (256, 256, 3) uint8
pasos/observación/image_side_2_profundidad Tensor (256, 256) flotador32
pasos/observación/imagen_wrist_1 Imagen (256, 256, 3) uint8
pasos/observación/imagen_wrist_1_profundidad Tensor (256, 256) flotador32
pasos/observación/imagen_wrist_2 Imagen (256, 256, 3) uint8
pasos/observación/imagen_wrist_2_profundidad Tensor (256, 256) flotador32
pasos/observación/joint_pos Tensor (7,) flotador32
pasos/observación/vel_conjunto Tensor (7,) flotador32
pasos/observación/longitud Tensor cadena
pasos/observación/object_id Escalar uint8
pasos/observación/primitivo Tensor cadena
pasos/observación/shape_id Escalar uint8
pasos/observación/tamaño Tensor cadena
pasos/observación/state_gripper_pose Escalar flotador32
pasos/recompensa Escalar flotador32
  • Citación :
https://doi.org/10.48550/arXiv.2401.08553