robomimic_ph

• Descripción :

Los conjuntos de datos humanos competentes fueron recopilados por 1 operador competente utilizando la plataforma RoboTurk (con la excepción de Transporte, que tenía 2 operadores competentes trabajando juntos). Cada conjunto de datos consta de 200 trayectorias exitosas.

Cada tarea tiene dos versiones: una con observaciones dimensionales bajas ( low_dim ) y otra con imágenes ( image ).

Los conjuntos de datos siguen el formato RLDS para representar pasos y episodios.

• Página de inicio: https://arise-initiative.github.io/robomimic-web/

• Código fuente : tfds.robomimic.robomimic_ph.RobomimicPh

• Versiones :

  • 1.0.0 : Versión inicial.
  • 1.0.1 (predeterminado): Cita actualizada.

• Divisiones :

• Claves supervisadas (Ver as_supervised doc ): None

• Figura ( tfds.show_examples ): no compatible.

• Cita :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart'{i}n-Mart'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_ph/lift_low_dim (configuración predeterminada)

• Tamaño de descarga : 17.69 MiB

• Tamaño del conjunto de datos : 8.50 MiB

• Almacenamiento automático en caché ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(32,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/lift_imagen

• Tamaño de la descarga : 798.43 MiB

• Tamaño del conjunto de datos : 114.47 MiB

• Almacenamiento automático en caché ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'object': Tensor(shape=(10,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(32,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/can_low_dim

• Tamaño de la descarga : 43.38 MiB

• Tamaño del conjunto de datos : 27.73 MiB

• Almacenamiento automático en caché ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(71,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/can_image

• Tamaño de descarga : 1.87 GiB

• Tamaño del conjunto de datos : 474.55 MiB

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'object': Tensor(shape=(14,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(71,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/square_low_dim

• Tamaño de la descarga : 47.69 MiB

• Tamaño del conjunto de datos : 29.91 MiB

• Almacenamiento automático en caché ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(45,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/imagen_cuadrada

• Tamaño de descarga : 2.42 GiB

• Tamaño del conjunto de datos : 401.28 MiB

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'object': Tensor(shape=(14,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(45,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/transport_low_dim

• Tamaño de la descarga : 294.70 MiB

• Tamaño del conjunto de datos : 208.05 MiB

• Auto-caché ( documentación ): Solo cuando shuffle_files=False (tren)

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(14,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(41,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot1_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot1_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot1_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(115,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/transporte_imagen

• Tamaño de descarga : 15.07 GiB

• Tamaño del conjunto de datos : 3.64 GiB

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    '20_percent': tf.bool,
    '20_percent_train': tf.bool,
    '20_percent_valid': tf.bool,
    '50_percent': tf.bool,
    '50_percent_train': tf.bool,
    '50_percent_valid': tf.bool,
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(14,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(41,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot1_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot1_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'robot1_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot1_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot1_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot1_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
            'shouldercamera0_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
            'shouldercamera1_image': Image(shape=(84, 84, 3), dtype=tf.uint8),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(115,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/tool_hang_low_dim

• Tamaño de la descarga : 192.29 MiB

• Tamaño del conjunto de datos : 121.77 MiB

• Almacenamiento automático en caché ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(44,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(58,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):

robomimic_ph/tool_hang_image

• Tamaño de descarga : 61.96 GiB

• Tamaño del conjunto de datos : 9.10 GiB

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    'episode_id': tf.string,
    'horizon': tf.int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=tf.float64),
        'discount': tf.int32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(44,), dtype=tf.float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=tf.float64),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=tf.float64),
            'robot0_eye_in_hand_image': Image(shape=(240, 240, 3), dtype=tf.uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=tf.float64),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=tf.float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=tf.float64),
            'sideview_image': Image(shape=(240, 240, 3), dtype=tf.uint8),
        }),
        'reward': tf.float64,
        'states': Tensor(shape=(58,), dtype=tf.float64),
    }),
    'train': tf.bool,
    'valid': tf.bool,
})

• Documentación de características :

• Ejemplos ( tfds.as_dataframe ):