cmu_play_fusion

  • Sự miêu tả :

Robot chơi với 3 cảnh phức tạp: một vỉ nướng với nhiều dụng cụ nấu nướng như máy nướng bánh mì, chảo, v.v. Nó phải gắp, mở, đặt, đóng. Nó phải dọn bàn, dọn đĩa, cốc, đồ dùng. Và nó phải đặt bát đĩa vào bồn rửa, máy rửa chén, cốc cầm tay, v.v.

Tách ra Ví dụ
'train' 576
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8),
            'state': Tensor(shape=(8,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_siêu dữ liệu Tính năngDict
tập_siêu dữ liệu/file_path Chữ sợi dây Đường dẫn tới file dữ liệu gốc.
bước Tập dữ liệu
bước/hành động Tenxơ (9,) phao32 Hành động của robot, bao gồm [7x delta eef (pos + quat), 1x kẹp mở/đóng (nhị phân), 1x kết thúc tập].
bước/giảm giá Vô hướng phao32 Giảm giá nếu được cung cấp, mặc định là 1.
bước/is_first Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
các bước/ngôn ngữ_embedding Tenxơ (512,) phao32 Nhúng ngôn ngữ Kona. Xem https://tfhub.dev/google/universal-sentence-encoding-large/5
các bước/ngôn ngữ_instruction Chữ sợi dây Giảng dạy ngôn ngữ.
bước/quan sát Tính năngDict
bước/quan sát/hình ảnh Hình ảnh (128, 128, 3) uint8 Quan sát RGB của camera chính.
bước/quan sát/trạng thái Tenxơ (số 8,) phao32 Trạng thái robot, bao gồm [góc khớp robot 7x, vị trí kẹp 1x.
bước/phần thưởng Vô hướng phao32 Phần thưởng nếu được cung cấp, 1 ở bước cuối cùng cho bản demo.
  • Trích dẫn :
@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}