fmb

  • 説明

私たちのデータセットは、さまざまな外観と形状のオブジェクトで構成されています。ランダム化されたシーンで固定されていないボード上にペグをうまく組み立てるには、多段階かつマルチモーダルな細かい運動スキルが必要です。 Franka Panda アーム上の 2 つの異なるタスクにわたって、合計 22,550 の軌跡を収集しました。 2 つのグローバル ビューと 2 つのリスト ビューからの軌跡を記録します。各ビューには、RGB マップと深度マップの両方が含まれています。

スプリット
'train' 1,804
  • 機能の構造:
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 機能ドキュメント:
特徴クラスDタイプ説明
特徴辞書
エピソード_メタデータ特徴辞書
エピソード_メタデータ/エピソード_言語_埋め込みテンソル(512,) float32
エピソードメタデータ/エピソード言語説明テンソル
エピソード_メタデータ/エピソード_タスクテンソル
エピソードメタデータ/ファイルパステンソル
ステップデータセット
ステップ/アクションテンソル(7、) float32
歩数/割引スカラーfloat32
ステップ/is_firstテンソルブール
ステップ/is_lastテンソルブール
ステップ/is_terminalテンソルブール
ステップ/言語_埋め込みテンソル(512,) float32
ステップ/言語説明テンソル
ステップ/観察特徴辞書
ステップ/観察/color_idスカラーuint8
ステップ/観察/eef_forceテンソル(3,) float32
ステップ/観察/eef_poseテンソル(7、) float32
ステップ/観察/eef_torqueテンソル(3,) float32
ステップ/観察/eef_velテンソル(6,) float32
ステップ/観察/image_side_1画像(256, 256, 3) uint8
ステップ/観察/image_side_1_ Depthテンソル(256、256) float32
ステップ/観察/image_side_2画像(256, 256, 3) uint8
ステップ/観察/画像_側面_2_深さテンソル(256、256) float32
歩数/観察/image_wrist_1画像(256, 256, 3) uint8
歩数/観察/image_wrist_1_ Depthテンソル(256、256) float32
歩数/観察/image_wrist_2画像(256, 256, 3) uint8
歩数/観察/image_wrist_2_ Depthテンソル(256、256) float32
歩数/観察/joint_posテンソル(7、) float32
ステップ/観察/joint_velテンソル(7、) float32
歩数/観察/長さテンソル
ステップ/観察/object_idスカラーuint8
ステップ/観察/プリミティブテンソル
ステップ/観察/shape_idスカラーuint8
歩数・観察・大きさテンソル
ステップ/観察/state_gripper_poseスカラーfloat32
歩数/報酬スカラーfloat32
  • 引用
https://doi.org/10.48550/arXiv.2401.08553