iamlab_cmu_pickup_insert_converted_externally_to_rlds

Description :

Franka sélectionnant des objets et des tâches d'insertion

Page d'accueil : https://openreview.net/forum?id=WuBv9-IGDUA
Code source : tfds.robotics.rtx.IamlabCmuPickupInsertConvertedExternallyToRlds
Versions :
- 0.1.0 (par défaut) : version initiale.
Taille du téléchargement : Unknown size
Taille de l'ensemble de données : 50.29 GiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	631

Structure des fonctionnalités :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(8,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(360, 640, 3), dtype=uint8),
            'state': Tensor(shape=(20,), dtype=float32),
            'wrist_image': Image(shape=(240, 320, 3), dtype=uint8),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_métadonnées	FonctionnalitésDict
épisode_metadata/file_path	Texte		chaîne	Chemin d'accès au fichier de données d'origine.
pas	Base de données
étapes/actions	Tenseur	(8,)	flotteur32	L'action du robot consiste en [3x positions d'effecteur terminal, 4x quaternions d'effecteur terminal, 1x ouverture/fermeture de la pince].
étapes/remise	Scalaire		flotteur32	Remise si fournie, par défaut à 1.
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/langue_embedding	Tenseur	(512,)	flotteur32	Intégration du langage Kona. Voir https://tfhub.dev/google/universal-sentence-encoder-large/5
étapes/instruction_langue	Texte		chaîne	Enseignement des langues.
étapes/observation	FonctionnalitésDict
étapes/observation/image	Image	(360, 640, 3)	uint8	Observation RVB de la caméra principale.
étapes/observation/état	Tenseur	(20,)	flotteur32	L'état du robot comprend [7x angles d'articulation du robot, 1x état de la pince, 6x couples d'articulation, 6x force de l'effecteur final].
étapes/observation/image_poignet	Image	(240, 320, 3)	uint8	Observation RVB par caméra-bracelet.
étapes/récompense	Scalaire		flotteur32	Récompense si fournie, 1 à la dernière étape pour les démos.

Clés supervisées (Voir doc as_supervised ) : None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :

Citation :

@inproceedings{
saxena2023multiresolution,
title={Multi-Resolution Sensing for Real-Time Control with Vision-Language Models},
author={Saumya Saxena and Mohit Sharma and Oliver Kroemer},
booktitle={7th Annual Conference on Robot Learning},
year={2023},
url={https://openreview.net/forum?id=WuBv9-IGDUA}
}