cmu_play_fusion

  • Tanım :

Robot 3 karmaşık sahneyle oynuyor: ekmek kızartma makinesi, tava vb. birçok pişirme nesnesinin bulunduğu bir ızgara. Alması, açması, yerleştirmesi ve kapatması gerekiyor. Bir masa kurmalı, tabakları, bardakları, mutfak aletlerini hareket ettirmeli. Ve bulaşıkları lavaboya, bulaşık makinesine, el bardaklarına vb. yerleştirmelidir.

Bölmek Örnekler
'train' 576
  • Özellik yapısı :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8),
            'state': Tensor(shape=(8,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_meta verileri ÖzelliklerDict
bölüm_metadata/dosya_yolu Metin sicim Orijinal veri dosyasının yolu.
adımlar Veri kümesi
adımlar/eylem Tensör (9,) kayan nokta32 Robot eylemi, [7x delta eef (pos + quat), 1x tutucu açma/kapama (ikili), 1x sonlandırma bölümünden] oluşur.
adımlar/indirim Skaler kayan nokta32 Sağlanırsa indirim, varsayılan olarak 1'dir.
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/dil_embedding Tensör (512,) kayan nokta32 Kona dili yerleştirme. Bkz. https://tfhub.dev/google/universal-sentence-encoder-large/5
adımlar/language_instruction Metin sicim Dil Öğretimi.
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/görüntü Resim (128, 128, 3) uint8 Ana kamera RGB gözlemi.
adımlar/gözlem/durum Tensör (8,) kayan nokta32 Robot durumu, [7x robot eklem açısı, 1x tutucu pozisyonundan oluşur.
adımlar/ödül Skaler kayan nokta32 Sağlandığı takdirde ödül, demolar için son adımda 1.
  • Alıntı :
@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}