स्टैनफोर्ड_मास्क_विट_कन्वर्ट_एक्सटर्नली_टू_आरएलडीएस

  • विवरण :

सॉयर कूड़ेदान में वस्तुओं को धकेलता और उठाता हुआ

विभाजित करना उदाहरण
'train' 9,109
'val' 91
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(5,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'end_effector_pose': Tensor(shape=(5,), dtype=float32),
            'finger_sensors': Tensor(shape=(1,), dtype=float32),
            'high_bound': Tensor(shape=(5,), dtype=float32),
            'image': Image(shape=(480, 480, 3), dtype=uint8),
            'low_bound': Tensor(shape=(5,), dtype=float32),
            'state': Tensor(shape=(15,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/फ़ाइल_पथ मूलपाठ डोरी मूल डेटा फ़ाइल का पथ.
कदम डेटासेट
कदम/कार्रवाई टेन्सर (5,) फ्लोट32 रोबोट क्रिया में [अंतिम प्रभावक स्थिति में 3x परिवर्तन, 1x ग्रिपर यॉ, 1x खुला/बंद ग्रिपर (-1 का अर्थ ग्रिपर को खोलना, 1 का अर्थ बंद करना)] शामिल है।
कदम/छूट अदिश फ्लोट32 यदि छूट प्रदान की गई है, तो डिफ़ॉल्ट 1 है।
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32 कोना भाषा एम्बेडिंग. https://tfhub.dev/google/universal-sentence-encoder-large/5 देखें
चरण/भाषा_निर्देश मूलपाठ डोरी भाषा निर्देश.
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/end_effector_pose टेन्सर (5,) फ्लोट32 रोबोट एंड इफ़ेक्टर पोज़ में [3x कार्टेशियन स्थिति, 1x ग्रिपर यॉ, 1x ग्रिपर स्थिति] शामिल है। यह मास्कवीआईटी पेपर में प्रयुक्त स्थिति है।
चरण/अवलोकन/फिंगर_सेंसर टेन्सर (1,) फ्लोट32 1x सॉयर ग्रिपर फिंगर सेंसर।
चरण/अवलोकन/हाई_बाउंड टेन्सर (5,) फ्लोट32 अंतिम प्रभावकारक मुद्रा सामान्यीकरण के लिए उच्च सीमा। [3x कार्टेशियन स्थिति, 1x ग्रिपर यॉ, 1x ग्रिपर स्थिति] से मिलकर बनता है।
चरण/अवलोकन/छवि छवि (480, 480, 3) uint8 मुख्य कैमरा आरजीबी अवलोकन।
चरण/अवलोकन/लो_बाउंड टेन्सर (5,) फ्लोट32 अंतिम प्रभावकारक मुद्रा सामान्यीकरण के लिए निम्न सीमा। [3x कार्टेशियन स्थिति, 1x ग्रिपर यॉ, 1x ग्रिपर स्थिति] से मिलकर बनता है।
चरण/अवलोकन/स्थिति टेन्सर (15,) फ्लोट32 रोबोट स्थिति में [7x रोबोट संयुक्त कोण, 7x रोबोट संयुक्त वेग, 1x ग्रिपर स्थिति] शामिल है।
कदम/इनाम अदिश फ्लोट32 यदि प्रदान किया गया तो इनाम, डेमो के लिए अंतिम चरण पर 1।
  • पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

  • चित्र ( tfds.show_examples ): समर्थित नहीं है।

  • उदाहरण ( tfds.as_dataframe ): गुम है।

  • उद्धरण :

@inproceedings{gupta2022maskvit,
  title={MaskViT: Masked Visual Pre-Training for Video Prediction},
  author={Agrim Gupta and Stephen Tian and Yunzhi Zhang and Jiajun Wu and Roberto Martín-Martín and Li Fei-Fei},
  booktitle={International Conference on Learning Representations},
  year={2022}
}