- תיאור :
הדמיה של פרנקה מבצעת משימות מניפולציה שונות
דף הבית : https://github.com/haosulab/ManiSkill2
קוד מקור :
tfds.robotics.rtx.ManiskillDatasetConvertedExternallyToRlds
גרסאות :
-
0.1.0
(ברירת מחדל): שחרור ראשוני.
-
גודל הורדה :
Unknown size
גודל מערך נתונים :
151.05 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'train' | 30,213 |
- מבנה תכונה :
FeaturesDict({
'episode_metadata': FeaturesDict({
'episode_id': Text(shape=(), dtype=string),
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float32),
'discount': Scalar(shape=(), dtype=float32),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'base_pose': Tensor(shape=(7,), dtype=float32),
'depth': Image(shape=(256, 256, 1), dtype=uint16),
'image': Image(shape=(256, 256, 3), dtype=uint8),
'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
'state': Tensor(shape=(18,), dtype=float32),
'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32),
'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8),
'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32),
'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8),
'tcp_pose': Tensor(shape=(7,), dtype=float32),
'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16),
'wrist_image': Image(shape=(256, 256, 3), dtype=uint8),
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
episode_metadata | FeaturesDict | |||
episode_metadata/episode_id | טֶקסט | חוּט | מזהה פרק. | |
episode_metadata/file_path | טֶקסט | חוּט | נתיב לקובץ הנתונים המקורי. | |
צעדים | מערך נתונים | |||
צעדים/פעולה | מוֹתֵחַ | (7,) | לצוף32 | פעולת רובוט, מורכבת מ[3x מיקום יעד דלתא קצה של אפקטור, 3x כיוון יעד דלתא קצה בפורמט של זווית ציר, 1x מיקום יעד תפסן (חיקוי עבור שתי אצבעות)]. עבור מיקום יעד דלתא, פעולה של -1 ממפה לתנועת רובוט של -0.1m, ופעולה של 1 מפה לתנועה של 0.1m. עבור כיוון יעד דלתא, הזווית המקודדת שלו ממופה לטווח של [-0.1rad, 0.1rad] לביצוע רובוט. לדוגמה, פעולה של [1, 0, 0] פירושה סיבוב לאורך ציר ה-x ב-0.1 רד. עבור מיקום מטרת האוחז, פעולה של -1 פירושה סגירה, ופעולה של 1 פירושה פתוח. |
צעדים/הנחה | סקלר | לצוף32 | הנחה אם ניתנת, ברירת המחדל היא 1. | |
צעדים/הוא_ראשון | מוֹתֵחַ | bool | ||
צעדים/הוא_אחרון | מוֹתֵחַ | bool | ||
steps/is_terminal | מוֹתֵחַ | bool | ||
שלבים/הטבעת_שפה | מוֹתֵחַ | (512,) | לצוף32 | הטבעת שפת Kona. ראה https://tfhub.dev/google/universal-sentence-encoder-large/5 |
שלבים/הוראת_שפה | טֶקסט | חוּט | הוראת שפה. | |
צעדים/תצפית | FeaturesDict | |||
צעדים/תצפית/תנוחת_בסיס | מוֹתֵחַ | (7,) | לצוף32 | תנוחת בסיס רובוט במסגרת העולם, מורכבת מ-[x, y, z, qw, qx, qy, qz]. שלושת הממדים הראשונים מייצגים מיקומי xyz במטרים. ארבעת הממדים האחרונים הם ייצוג הקווטרניון של הסיבוב. |
צעדים/תצפית/עומק | תמונה | (256, 256, 1) | uint16 | מצלמה ראשית תצפית עומק. חלקו את ערך העומק ב-2**10 כדי לקבל את העומק במטרים. |
צעדים/תצפית/תמונה | תמונה | (256, 256, 3) | uint8 | תצפית RGB של מצלמה ראשית. |
steps/observation/main_camera_cam2world_gl | מוֹתֵחַ | (4, 4) | לצוף32 | טרנספורמציה ממסגרת המצלמה הראשית למסגרת העולמית בכנס OpenGL/Blender. |
steps/observation/main_camera_extrinsic_cv | מוֹתֵחַ | (4, 4) | לצוף32 | מטריצת מצלמה חיצונית ראשית במוסכמה של OpenCV. |
steps/observation/main_camera_intrinsic_cv | מוֹתֵחַ | (3, 3) | לצוף32 | מטריצה פנימית של מצלמה ראשית במוסכמה של OpenCV. |
צעדים/תצפית/מצב | מוֹתֵחַ | (18,) | לצוף32 | מצב רובוט, מורכב מ[7x זוויות מפרק רובוט, 2x מיקום תפס, 7x מהירות זווית מפרק רובוט, 2x מהירות תפסן]. זווית ברדיאנים, מיקום במטרים. |
steps/observation/target_object_or_part_final_pose | מוֹתֵחַ | (7,) | לצוף32 | התנוחה הסופית שלקראתה צריך לתפעל את אובייקט המטרה או חלק האובייקט, מורכבת מ-[x, y, z, qw, qx, qy, qz]. התנוחה מיוצגת במסגרת העולם. פרק נחשב מוצלח אם אובייקט המטרה או חלק האובייקט עוברים מניפולציות לתנוחה זו. |
steps/observation/target_object_or_part_final_pose_valid | מוֹתֵחַ | (7,) | uint8 | האם כל ממד של target_object_or_part_final_pose תקף בסביבה. 1 = חוקי; 0 = לא חוקי (במקרה זה יש להתעלם מהמידות המתאימות ב-target_object_or_part_final_pose). "לא חוקי" פירושו שאין בדיקת הצלחה בתנוחה הסופית של אובייקט המטרה או חלק האובייקט בממדים התואמים. |
צעדים/תצפית/תנוחה_ראשונית_יעד | מוֹתֵחַ | (7,) | לצוף32 | התנוחה הראשונית של אובייקט המטרה או חלק האובייקט שיש לתמרן, מורכבת מ-[x, y, z, qw, qx, qy, qz]. התנוחה מיוצגת במסגרת העולם. משתנה זה משמש לציון אובייקט המטרה או חלק האובייקט כאשר מספר אובייקטים או חלקי אובייקט נמצאים בסביבה |
steps/observation/target_object_or_part_initial_pose_valid | מוֹתֵחַ | (7,) | uint8 | האם כל ממד של target_object_or_part_initial_pose תקף בסביבה. 1 = חוקי; 0 = לא חוקי (במקרה זה יש להתעלם מהמידות המתאימות ב-target_object_or_part_initial_pose). |
steps/observation/tcp_pose | מוֹתֵחַ | (7,) | לצוף32 | תנוחת כלי רובוט-נקודת מרכז במסגרת העולם, מורכבת מ-[x, y, z, qw, qx, qy, qz]. נקודת הכלי-מרכז היא המרכז בין שתי אצבעות האוחז. |
steps/observation/wrist_camera_cam2world_gl | מוֹתֵחַ | (4, 4) | לצוף32 | טרנספורמציה ממסגרת מצלמת שורש כף היד למסגרת העולמית בכנס OpenGL/Blender. |
צעדים/תצפית/מצלמת_יד_חיצונית | מוֹתֵחַ | (4, 4) | לצוף32 | מטריצה חיצונית של מצלמת שורש כף היד במוסכמה של OpenCV. |
צעדים/תצפית/מצלמת_שורש כף היד | מוֹתֵחַ | (3, 3) | לצוף32 | מטריצה פנימית של מצלמת שורש כף היד במוסכמה של OpenCV. |
צעדים/תצפית/עומק_שורש כף היד | תמונה | (256, 256, 1) | uint16 | מצלמת שורש כף היד תצפית עומק. חלקו את ערך העומק ב-2**10 כדי לקבל את העומק במטרים. |
צעדים/תצפית/תמונת_שורש כף היד | תמונה | (256, 256, 3) | uint8 | תצפית RGB מצלמת שורש כף היד. |
צעדים/פרס | סקלר | לצוף32 | תגמול אם מסופק, 1 בשלב האחרון להדגמות. |
מפתחות בפיקוח (ראה
as_supervised
doc ):None
איור ( tfds.show_examples ): לא נתמך.
דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@inproceedings{gu2023maniskill2,
title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
booktitle={International Conference on Learning Representations},
year={2023}
}