manikill_dataset_converted_externally_to_rlds

  • תיאור :

הדמיה של פרנקה מבצעת משימות מניפולציה שונות

לְפַצֵל דוגמאות
'train' 30,213
  • מבנה תכונה :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_id': Text(shape=(), dtype=string),
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'base_pose': Tensor(shape=(7,), dtype=float32),
            'depth': Image(shape=(256, 256, 1), dtype=uint16),
            'image': Image(shape=(256, 256, 3), dtype=uint8),
            'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'state': Tensor(shape=(18,), dtype=float32),
            'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'tcp_pose': Tensor(shape=(7,), dtype=float32),
            'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16),
            'wrist_image': Image(shape=(256, 256, 3), dtype=uint8),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
episode_metadata FeaturesDict
episode_metadata/episode_id טֶקסט חוּט מזהה פרק.
episode_metadata/file_path טֶקסט חוּט נתיב לקובץ הנתונים המקורי.
צעדים מערך נתונים
צעדים/פעולה מוֹתֵחַ (7,) לצוף32 פעולת רובוט, מורכבת מ[3x מיקום יעד דלתא קצה של אפקטור, 3x כיוון יעד דלתא קצה בפורמט של זווית ציר, 1x מיקום יעד תפסן (חיקוי עבור שתי אצבעות)]. עבור מיקום יעד דלתא, פעולה של -1 ממפה לתנועת רובוט של -0.1m, ופעולה של 1 מפה לתנועה של 0.1m. עבור כיוון יעד דלתא, הזווית המקודדת שלו ממופה לטווח של [-0.1rad, 0.1rad] לביצוע רובוט. לדוגמה, פעולה של [1, 0, 0] פירושה סיבוב לאורך ציר ה-x ב-0.1 רד. עבור מיקום מטרת האוחז, פעולה של -1 פירושה סגירה, ופעולה של 1 פירושה פתוח.
צעדים/הנחה סקלר לצוף32 הנחה אם ניתנת, ברירת המחדל היא 1.
צעדים/הוא_ראשון מוֹתֵחַ bool
צעדים/הוא_אחרון מוֹתֵחַ bool
steps/is_terminal מוֹתֵחַ bool
שלבים/הטבעת_שפה מוֹתֵחַ (512,) לצוף32 הטבעת שפת Kona. ראה https://tfhub.dev/google/universal-sentence-encoder-large/5
שלבים/הוראת_שפה טֶקסט חוּט הוראת שפה.
צעדים/תצפית FeaturesDict
צעדים/תצפית/תנוחת_בסיס מוֹתֵחַ (7,) לצוף32 תנוחת בסיס רובוט במסגרת העולם, מורכבת מ-[x, y, z, qw, qx, qy, qz]. שלושת הממדים הראשונים מייצגים מיקומי xyz במטרים. ארבעת הממדים האחרונים הם ייצוג הקווטרניון של הסיבוב.
צעדים/תצפית/עומק תמונה (256, 256, 1) uint16 מצלמה ראשית תצפית עומק. חלקו את ערך העומק ב-2**10 כדי לקבל את העומק במטרים.
צעדים/תצפית/תמונה תמונה (256, 256, 3) uint8 תצפית RGB של מצלמה ראשית.
steps/observation/main_camera_cam2world_gl מוֹתֵחַ (4, 4) לצוף32 טרנספורמציה ממסגרת המצלמה הראשית למסגרת העולמית בכנס OpenGL/Blender.
steps/observation/main_camera_extrinsic_cv מוֹתֵחַ (4, 4) לצוף32 מטריצת מצלמה חיצונית ראשית במוסכמה של OpenCV.
steps/observation/main_camera_intrinsic_cv מוֹתֵחַ (3, 3) לצוף32 מטריצה ​​פנימית של מצלמה ראשית במוסכמה של OpenCV.
צעדים/תצפית/מצב מוֹתֵחַ (18,) לצוף32 מצב רובוט, מורכב מ[7x זוויות מפרק רובוט, 2x מיקום תפס, 7x מהירות זווית מפרק רובוט, 2x מהירות תפסן]. זווית ברדיאנים, מיקום במטרים.
steps/observation/target_object_or_part_final_pose מוֹתֵחַ (7,) לצוף32 התנוחה הסופית שלקראתה צריך לתפעל את אובייקט המטרה או חלק האובייקט, מורכבת מ-[x, y, z, qw, qx, qy, qz]. התנוחה מיוצגת במסגרת העולם. פרק נחשב מוצלח אם אובייקט המטרה או חלק האובייקט עוברים מניפולציות לתנוחה זו.
steps/observation/target_object_or_part_final_pose_valid מוֹתֵחַ (7,) uint8 האם כל ממד של target_object_or_part_final_pose תקף בסביבה. 1 = חוקי; 0 = לא חוקי (במקרה זה יש להתעלם מהמידות המתאימות ב-target_object_or_part_final_pose). "לא חוקי" פירושו שאין בדיקת הצלחה בתנוחה הסופית של אובייקט המטרה או חלק האובייקט בממדים התואמים.
צעדים/תצפית/תנוחה_ראשונית_יעד מוֹתֵחַ (7,) לצוף32 התנוחה הראשונית של אובייקט המטרה או חלק האובייקט שיש לתמרן, מורכבת מ-[x, y, z, qw, qx, qy, qz]. התנוחה מיוצגת במסגרת העולם. משתנה זה משמש לציון אובייקט המטרה או חלק האובייקט כאשר מספר אובייקטים או חלקי אובייקט נמצאים בסביבה
steps/observation/target_object_or_part_initial_pose_valid מוֹתֵחַ (7,) uint8 האם כל ממד של target_object_or_part_initial_pose תקף בסביבה. 1 = חוקי; 0 = לא חוקי (במקרה זה יש להתעלם מהמידות המתאימות ב-target_object_or_part_initial_pose).
steps/observation/tcp_pose מוֹתֵחַ (7,) לצוף32 תנוחת כלי רובוט-נקודת מרכז במסגרת העולם, מורכבת מ-[x, y, z, qw, qx, qy, qz]. נקודת הכלי-מרכז היא המרכז בין שתי אצבעות האוחז.
steps/observation/wrist_camera_cam2world_gl מוֹתֵחַ (4, 4) לצוף32 טרנספורמציה ממסגרת מצלמת שורש כף היד למסגרת העולמית בכנס OpenGL/Blender.
צעדים/תצפית/מצלמת_יד_חיצונית מוֹתֵחַ (4, 4) לצוף32 מטריצה ​​חיצונית של מצלמת שורש כף היד במוסכמה של OpenCV.
צעדים/תצפית/מצלמת_שורש כף היד מוֹתֵחַ (3, 3) לצוף32 מטריצה ​​פנימית של מצלמת שורש כף היד במוסכמה של OpenCV.
צעדים/תצפית/עומק_שורש כף היד תמונה (256, 256, 1) uint16 מצלמת שורש כף היד תצפית עומק. חלקו את ערך העומק ב-2**10 כדי לקבל את העומק במטרים.
צעדים/תצפית/תמונת_שורש כף היד תמונה (256, 256, 3) uint8 תצפית RGB מצלמת שורש כף היד.
צעדים/פרס סקלר לצוף32 תגמול אם מסופק, 1 בשלב האחרון להדגמות.
  • ציטוט :
@inproceedings{gu2023maniskill2,
  title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
  author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
  booktitle={International Conference on Learning Representations},
  year={2023}
}