fmb

  • বর্ণনা :

আমাদের ডেটাসেট বিভিন্ন চেহারা এবং জ্যামিতির বস্তু নিয়ে গঠিত। একটি এলোমেলো দৃশ্যে একটি আনফিক্সড বোর্ডে খুঁটিগুলি সফলভাবে একত্রিত করার জন্য এটির মাল্টি-স্টেজ এবং মাল্টি-মডেল সূক্ষ্ম মোটর দক্ষতার প্রয়োজন। আমরা ফ্রাঙ্কা পান্ডা বাহুতে দুটি ভিন্ন টাস্ক জুড়ে মোট 22,550 ট্রাজেক্টোরি সংগ্রহ করেছি। আমরা 2টি গ্লোবাল ভিউ এবং 2টি রিস্ট ভিউ থেকে ট্রাজেক্টোরি রেকর্ড করি। প্রতিটি দৃশ্যে RGB এবং গভীরতার মানচিত্র উভয়ই রয়েছে।

বিভক্ত উদাহরণ
'train' 1,804
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
episode_metadata ফিচারসডিক্ট
episode_metadata/episode_language_embedding টেনসর (512,) float32
episode_metadata/episode_language_instruction টেনসর স্ট্রিং
episode_metadata/episode_task টেনসর স্ট্রিং
episode_metadata/file_path টেনসর স্ট্রিং
পদক্ষেপ ডেটাসেট
পদক্ষেপ/ক্রিয়া টেনসর (৭,) float32
পদক্ষেপ/ছাড় স্কেলার float32
steps/is_first টেনসর bool
ধাপ/শেষ_শেষ টেনসর bool
steps/is_terminal টেনসর bool
পদক্ষেপ/ভাষা_এম্বেডিং টেনসর (512,) float32
পদক্ষেপ/ভাষা_নির্দেশ টেনসর স্ট্রিং
পদক্ষেপ/পর্যবেক্ষণ ফিচারসডিক্ট
পদক্ষেপ/পর্যবেক্ষণ/রং_আইডি স্কেলার uint8
পদক্ষেপ/পর্যবেক্ষণ/eef_force টেনসর (৩,) float32
পদক্ষেপ/পর্যবেক্ষণ/eef_pose টেনসর (৭,) float32
পদক্ষেপ/পর্যবেক্ষণ/eef_torque টেনসর (৩,) float32
পদক্ষেপ/পর্যবেক্ষণ/eef_vel টেনসর (6,) float32
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_পার্শ্ব_1 ছবি (256, 256, 3) uint8
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_পার্শ্ব_1_গভীরতা টেনসর (256, 256) float32
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_পার্শ্ব_২ ছবি (256, 256, 3) uint8
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_পার্শ্ব_2_গভীরতা টেনসর (256, 256) float32
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_কব্জি_1 ছবি (256, 256, 3) uint8
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_কব্জি_1_গভীরতা টেনসর (256, 256) float32
পদক্ষেপ/পর্যবেক্ষণ/ছবি_কব্জি_2 ছবি (256, 256, 3) uint8
পদক্ষেপ/পর্যবেক্ষণ/চিত্র_কব্জি_2_গভীরতা টেনসর (256, 256) float32
পদক্ষেপ/পর্যবেক্ষণ/জয়েন্ট_পোস টেনসর (৭,) float32
পদক্ষেপ/পর্যবেক্ষণ/জয়েন্ট_ভেল টেনসর (৭,) float32
পদক্ষেপ/পর্যবেক্ষণ/দৈর্ঘ্য টেনসর স্ট্রিং
পদক্ষেপ/পর্যবেক্ষণ/অবজেক্ট_আইডি স্কেলার uint8
পদক্ষেপ/পর্যবেক্ষণ/আদিম টেনসর স্ট্রিং
পদক্ষেপ/পর্যবেক্ষণ/আকৃতি_আইডি স্কেলার uint8
পদক্ষেপ/পর্যবেক্ষণ/আকার টেনসর স্ট্রিং
পদক্ষেপ/পর্যবেক্ষণ/state_gripper_pose স্কেলার float32
পদক্ষেপ/পুরস্কার স্কেলার float32
  • উদ্ধৃতি :
https://doi.org/10.48550/arXiv.2401.08553