मैनिस्किल_डेटासेट_कन्वर्टेड_एक्सटर्नली_टू_आरएलडीएस

  • विवरण :

नकली फ़्रैंका विभिन्न जोड़-तोड़ वाले कार्य कर रहा है

विभाजित करना उदाहरण
'train' 30,213
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_id': Text(shape=(), dtype=string),
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'base_pose': Tensor(shape=(7,), dtype=float32),
            'depth': Image(shape=(256, 256, 1), dtype=uint16),
            'image': Image(shape=(256, 256, 3), dtype=uint8),
            'main_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'main_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'state': Tensor(shape=(18,), dtype=float32),
            'target_object_or_part_final_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_final_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'target_object_or_part_initial_pose': Tensor(shape=(7,), dtype=float32),
            'target_object_or_part_initial_pose_valid': Tensor(shape=(7,), dtype=uint8),
            'tcp_pose': Tensor(shape=(7,), dtype=float32),
            'wrist_camera_cam2world_gl': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_extrinsic_cv': Tensor(shape=(4, 4), dtype=float32),
            'wrist_camera_intrinsic_cv': Tensor(shape=(3, 3), dtype=float32),
            'wrist_depth': Image(shape=(256, 256, 1), dtype=uint16),
            'wrist_image': Image(shape=(256, 256, 3), dtype=uint8),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/एपिसोड_आईडी मूलपाठ डोरी एपिसोड आईडी.
एपिसोड_मेटाडेटा/फ़ाइल_पथ मूलपाठ डोरी मूल डेटा फ़ाइल का पथ.
कदम डेटासेट
कदम/कार्रवाई टेन्सर (7,) फ्लोट32 रोबोट कार्रवाई में [3x अंत प्रभावक डेल्टा लक्ष्य स्थिति, अक्ष-कोण प्रारूप में 3x अंत प्रभावक डेल्टा लक्ष्य अभिविन्यास, 1x ग्रिपर लक्ष्य स्थिति (दो उंगलियों के लिए नकल)] शामिल हैं। डेल्टा लक्ष्य स्थिति के लिए, -0.1 मीटर की रोबोट गति के लिए -1 मानचित्र की कार्रवाई, और 0.1 मीटर की गति के लिए 1 मानचित्र की कार्रवाई। डेल्टा लक्ष्य अभिविन्यास के लिए, इसके एन्कोडेड कोण को रोबोट निष्पादन के लिए [-0.1rad, 0.1rad] की सीमा पर मैप किया जाता है। उदाहरण के लिए, [1, 0, 0] की क्रिया का अर्थ है x-अक्ष के अनुदिश 0.1 रेड घूमना। ग्रिपर लक्ष्य स्थिति के लिए, -1 की क्रिया का अर्थ है बंद होना, और 1 की क्रिया का अर्थ है खुला होना।
कदम/छूट अदिश फ्लोट32 यदि छूट प्रदान की गई है, तो डिफ़ॉल्ट 1 है।
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32 कोना भाषा एम्बेडिंग. https://tfhub.dev/google/universal-sentence-encoder-large/5 देखें
चरण/भाषा_निर्देश मूलपाठ डोरी भाषा निर्देश.
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/आधार_पोज़ टेन्सर (7,) फ्लोट32 वर्ल्ड फ्रेम में रोबोट बेस पोज़ में [x, y, z, qw, qx, qy, qz] शामिल है। पहले तीन आयाम मीटर में xyz स्थिति दर्शाते हैं। अंतिम चार आयाम घूर्णन का चतुर्भुज प्रतिनिधित्व हैं।
चरण/अवलोकन/गहराई छवि (256, 256, 1) uint16 मुख्य कैमरा गहराई अवलोकन। मीटर में गहराई प्राप्त करने के लिए गहराई मान को 2**10 से विभाजित करें।
चरण/अवलोकन/छवि छवि (256, 256, 3) uint8 मुख्य कैमरा आरजीबी अवलोकन।
चरण/अवलोकन/main_camera_cam2world_gl टेन्सर (4,4) फ्लोट32 ओपनजीएल/ब्लेंडर कन्वेंशन में मुख्य कैमरा फ्रेम से विश्व फ्रेम में परिवर्तन।
चरण/अवलोकन/main_camera_extrinsic_cv टेन्सर (4,4) फ्लोट32 OpenCV कन्वेंशन में मुख्य कैमरा एक्सट्रिंसिक मैट्रिक्स।
चरण/अवलोकन/main_camera_intrinsic_cv टेन्सर (3,3) फ्लोट32 OpenCV कन्वेंशन में मुख्य कैमरा आंतरिक मैट्रिक्स।
चरण/अवलोकन/स्थिति टेन्सर (18,) फ्लोट32 रोबोट स्थिति में [7x रोबोट संयुक्त कोण, 2x ग्रिपर स्थिति, 7x रोबोट संयुक्त कोण वेग, 2x ग्रिपर वेग] शामिल हैं। कोण रेडियन में, स्थिति मीटर में।
चरण/अवलोकन/लक्ष्य_ऑब्जेक्ट_या_भाग_अंतिम_पोज़ टेन्सर (7,) फ्लोट32 अंतिम मुद्रा जिसके लिए लक्ष्य वस्तु या वस्तु भाग को हेरफेर करने की आवश्यकता होती है, उसमें [x, y, z, qw, qx, qy, qz] शामिल होता है। मुद्रा को विश्व फ्रेम में दर्शाया गया है। यदि लक्ष्य वस्तु या वस्तु भाग को इस मुद्रा में हेरफेर किया जाता है तो एक एपिसोड को सफल माना जाता है।
चरण/अवलोकन/target_object_or_part_final_pose_valid टेन्सर (7,) uint8 क्या target_object_or_part_final_pose का प्रत्येक आयाम किसी परिवेश में मान्य है। 1 = वैध; 0 = अमान्य (ऐसी स्थिति में किसी को target_object_or_part_final_pose में संबंधित आयामों को अनदेखा करना चाहिए)। "अमान्य" का अर्थ है कि संबंधित आयामों में लक्ष्य वस्तु या वस्तु भाग की अंतिम मुद्रा पर कोई सफलता जांच नहीं हुई है।
चरण/अवलोकन/target_object_or_part_initial_pose टेन्सर (7,) फ्लोट32 हेरफेर की जाने वाली लक्ष्य वस्तु या वस्तु भाग की प्रारंभिक मुद्रा में [x, y, z, qw, qx, qy, qz] शामिल हैं। मुद्रा को विश्व फ्रेम में दर्शाया गया है। इस वेरिएबल का उपयोग लक्ष्य ऑब्जेक्ट या ऑब्जेक्ट भाग को निर्दिष्ट करने के लिए किया जाता है जब एक वातावरण में कई ऑब्जेक्ट या ऑब्जेक्ट भाग मौजूद होते हैं
चरण/अवलोकन/target_object_or_part_initial_pose_valid टेन्सर (7,) uint8 क्या target_object_or_part_initial_pose का प्रत्येक आयाम किसी परिवेश में मान्य है। 1 = वैध; 0 = अमान्य (ऐसी स्थिति में किसी को target_object_or_part_initial_pose में संबंधित आयामों को अनदेखा करना चाहिए)।
चरण/अवलोकन/tcp_pose टेन्सर (7,) फ्लोट32 विश्व फ्रेम में रोबोट टूल-सेंटर-पॉइंट पोज़, [x, y, z, qw, qx, qy, qz] से युक्त है। टूल-सेंटर-पॉइंट दो ग्रिपर उंगलियों के बीच का केंद्र है।
चरण/अवलोकन/कलाई_कैमरा_cam2world_gl टेन्सर (4,4) फ्लोट32 ओपनजीएल/ब्लेंडर कन्वेंशन में कलाई कैमरा फ्रेम से विश्व फ्रेम में परिवर्तन।
चरण/अवलोकन/कलाई_कैमरा_एक्सट्रिंसिक_सीवी टेन्सर (4,4) फ्लोट32 ओपनसीवी कन्वेंशन में कलाई कैमरा एक्सट्रिंसिक मैट्रिक्स।
चरण/अवलोकन/कलाई_कैमरा_इंट्रिन्सिक_सीवी टेन्सर (3,3) फ्लोट32 ओपनसीवी सम्मेलन में कलाई कैमरा आंतरिक मैट्रिक्स।
चरण/अवलोकन/कलाई_गहराई छवि (256, 256, 1) uint16 कलाई कैमरा गहराई अवलोकन. मीटर में गहराई प्राप्त करने के लिए गहराई मान को 2**10 से विभाजित करें।
चरण/अवलोकन/कलाई_छवि छवि (256, 256, 3) uint8 कलाई कैमरा आरजीबी अवलोकन।
कदम/इनाम अदिश फ्लोट32 यदि प्रदान किया गया तो इनाम, डेमो के लिए अंतिम चरण पर 1।
  • उद्धरण :
@inproceedings{gu2023maniskill2,
  title={ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills},
  author={Gu, Jiayuan and Xiang, Fanbo and Li, Xuanlin and Ling, Zhan and Liu, Xiqiang and Mu, Tongzhou and Tang, Yihe and Tao, Stone and Wei, Xinyue and Yao, Yunchao and Yuan, Xiaodi and Xie, Pengwei and Huang, Zhiao and Chen, Rui and Su, Hao},
  booktitle={International Conference on Learning Representations},
  year={2023}
}