cmu_play_fusion

Keterangan :

Robot bermain dengan 3 adegan kompleks: pemanggang dengan banyak benda memasak seperti pemanggang roti, wajan, dll. Ia harus memilih, membuka, menempatkan, menutup. Ia harus menata meja, memindahkan piring, cangkir, perkakas. Dan itu harus meletakkan piring di wastafel, mesin pencuci piring, cangkir tangan, dll.

Beranda : https://play-fusion.github.io/
Kode sumber : tfds.robotics.rtx.CmuPlayFusion
Versi :
- 0.1.0 (default): Rilis awal.
Ukuran unduhan : Unknown size
Ukuran kumpulan data : 6.68 GiB
Cache otomatis ( dokumentasi ): Tidak
Perpecahan :

Membelah	Contoh
`'train'`	576

Struktur fitur :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8),
            'state': Tensor(shape=(8,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

Dokumentasi fitur :

Fitur	Kelas	Membentuk	Tipe D	Keterangan
	FiturDict
episode_metadata	FiturDict
episode_metadata/file_path	Teks		rangkaian	Jalur ke file data asli.
Langkah	Himpunan data
langkah/tindakan	Tensor	(9,)	float32	Aksi robot, terdiri dari [7x delta eef (pos + quat), 1x gripper buka/tutup (biner), 1x episode penghentian].
langkah/diskon	Skalar		float32	Diskon jika disediakan, defaultnya adalah 1.
langkah/adalah_pertama	Tensor		bodoh
langkah/adalah_terakhir	Tensor		bodoh
langkah/is_terminal	Tensor		bodoh
langkah/bahasa_embedding	Tensor	(512,)	float32	Penyematan bahasa Kona. Lihat https://tfhub.dev/google/universal-sentence-encoder-large/5
langkah/bahasa_instruksi	Teks		rangkaian	Instruksi Bahasa.
langkah/pengamatan	FiturDict
langkah/pengamatan/gambar	Gambar	(128, 128, 3)	uint8	Pengamatan RGB kamera utama.
langkah/pengamatan/keadaan	Tensor	(8,)	float32	Keadaan robot, terdiri dari [7x sudut sambungan robot, 1x posisi gripper.
langkah/hadiah	Skalar		float32	Hadiah jika diberikan, 1 pada langkah terakhir untuk demo.

Kunci yang diawasi (Lihat dokumen as_supervised ): None
Gambar ( tfds.show_examples ): Tidak didukung.
Contoh ( tfds.as_dataframe ):

Kutipan :

@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}