fmb

  • وصف :

تتكون مجموعة البيانات الخاصة بنا من كائنات ذات مظهر وهندسة متنوعة. يتطلب الأمر مهارات حركية دقيقة متعددة المراحل ومتعددة الوسائط لتجميع الأوتاد بنجاح على لوحة غير مثبتة في مشهد عشوائي. لقد جمعنا إجمالي 22550 مسارًا عبر مهمتين مختلفتين على ذراع فرانكا باندا. نسجل المسارات من منظرين عالميين ومنظرين للمعصم. يحتوي كل عرض على كلاً من RGB وخريطة العمق.

ينقسم أمثلة
'train' 1,804
  • هيكل الميزة :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • وثائق الميزة :
ميزة فصل شكل نوع D وصف
المميزاتDict
الحلقة_البيانات الوصفية المميزاتDict
Episode_metadata/episode_language_embedding الموتر (512،) float32
Episode_metadata/episode_language_instruction الموتر خيط
Episode_metadata/episode_task الموتر خيط
Episode_metadata/file_path الموتر خيط
خطوات مجموعة البيانات
الخطوات/الإجراء الموتر (7،) float32
الخطوات/الخصم العددية float32
الخطوات/is_first الموتر منطقي
الخطوات/is_last الموتر منطقي
الخطوات/is_terminal الموتر منطقي
الخطوات/language_embedding الموتر (512،) float32
الخطوات/language_instruction الموتر خيط
الخطوات/الملاحظة المميزاتDict
الخطوات/الملاحظة/color_id العددية uint8
الخطوات/الملاحظة/eef_force الموتر (3،) float32
الخطوات/الملاحظة/eef_pose الموتر (7،) float32
الخطوات/الملاحظة/eef_torque الموتر (3،) float32
الخطوات/الملاحظة/eef_vel الموتر (6،) float32
الخطوات/الملاحظة/image_side_1 صورة (256، 256، 3) uint8
الخطوات/الملاحظة/image_side_1_عمق الموتر (256، 256) float32
الخطوات/الملاحظة/image_side_2 صورة (256، 256، 3) uint8
الخطوات/الملاحظة/image_side_2_عمق الموتر (256، 256) float32
الخطوات/الملاحظة/image_wrist_1 صورة (256، 256، 3) uint8
الخطوات/الملاحظة/image_wrist_1_عمق الموتر (256، 256) float32
الخطوات/الملاحظة/image_wrist_2 صورة (256، 256، 3) uint8
الخطوات/الملاحظة/image_wrist_2_عمق الموتر (256، 256) float32
الخطوات/الملاحظة/joint_pos الموتر (7،) float32
الخطوات/الملاحظة/joint_vel الموتر (7،) float32
الخطوات / الملاحظة / الطول الموتر خيط
الخطوات/الملاحظة/object_id العددية uint8
الخطوات / الملاحظة / البدائية الموتر خيط
الخطوات/الملاحظة/shape_id العددية uint8
الخطوات/الملاحظة/الحجم الموتر خيط
الخطوات/الملاحظة/state_gripper_pose العددية float32
خطوات/مكافأة العددية float32
  • الاقتباس :
https://doi.org/10.48550/arXiv.2401.08553