- Sự miêu tả :
Franka khám phá nhà bếp đồ chơi
Trang chủ : https://human-world-model.github.io/
Mã nguồn :
tfds.robotics.rtx.CmuFrankaExplorationDatasetConvertedExternallyToRlds
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
602.24 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không
Chia tách :
Tách ra | Ví dụ |
---|---|
'train' | 199 |
- Cấu trúc tính năng :
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(8,), dtype=float32, description=Robot action, consists of [end effector position3x, end effector orientation3x, gripper action1x, episode termination1x].),
'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'highres_image': Image(shape=(480, 640, 3), dtype=uint8, description=High resolution main camera observation),
'image': Image(shape=(64, 64, 3), dtype=uint8, description=Main camera RGB observation.),
}),
'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
'structured_action': Tensor(shape=(8,), dtype=float32, description=Structured action, consisting of hybrid affordance and end-effector control, described in Structured World Models from Human Videos.),
}),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
tập_siêu dữ liệu | Tính năngDict | |||
tập_siêu dữ liệu/file_path | Chữ | sợi dây | Đường dẫn tới file dữ liệu gốc. | |
bước | Tập dữ liệu | |||
bước/hành động | Tenxơ | (8,) | phao32 | Hành động của robot, bao gồm [vị trí tác động cuối3x, định hướng tác động cuối3x, hành động kẹp1x, chấm dứt tập1x]. |
bước/giảm giá | vô hướng | phao32 | Giảm giá nếu được cung cấp, mặc định là 1. | |
bước/là_đầu tiên | Tenxơ | bool | ||
bước/is_last | Tenxơ | bool | ||
bước/is_terminal | Tenxơ | bool | ||
các bước/ngôn ngữ_embedding | Tenxơ | (512,) | phao32 | Nhúng ngôn ngữ Kona. Xem https://tfhub.dev/google/universal-sentence-encoding-large/5 |
các bước/ngôn ngữ_instruction | Chữ | sợi dây | Giảng dạy ngôn ngữ. | |
bước/quan sát | Tính năngDict | |||
bước/quan sát/highres_image | Hình ảnh | (480, 640, 3) | uint8 | Quan sát camera chính có độ phân giải cao |
bước/quan sát/hình ảnh | Hình ảnh | (64, 64, 3) | uint8 | Quan sát RGB của camera chính. |
bước/phần thưởng | vô hướng | phao32 | Phần thưởng nếu được cung cấp, 1 ở bước cuối cùng cho bản demo. | |
bước/cấu trúc_action | Tenxơ | (8,) | phao32 | Hành động có cấu trúc, bao gồm khả năng chi trả kết hợp và kiểm soát tác nhân cuối, được mô tả trong Mô hình thế giới có cấu trúc từ Video của con người. |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- Trích dẫn :
@inproceedings{mendonca2023structured,
title={Structured World Models from Human Videos},
author={Mendonca, Russell and Bahl, Shikhar and Pathak, Deepak},
journal={RSS},
year={2023}
}