cmu_franka_exploration_dataset_converted_externally_to_rlds

Description :

Franka explore les cuisines jouets

Page d'accueil : https://human-world-model.github.io/
Code source : tfds.robotics.rtx.CmuFrankaExplorationDatasetConvertedExternallyToRlds
Versions :
- 0.1.0 (par défaut) : version initiale.
Taille du téléchargement : Unknown size
Taille de l'ensemble de données : 602.24 MiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	199

Structure des fonctionnalités :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(8,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'highres_image': Image(shape=(480, 640, 3), dtype=uint8),
            'image': Image(shape=(64, 64, 3), dtype=uint8),
        }),
        'reward': Scalar(shape=(), dtype=float32),
        'structured_action': Tensor(shape=(8,), dtype=float32),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_métadonnées	FonctionnalitésDict
épisode_metadata/file_path	Texte		chaîne	Chemin d'accès au fichier de données d'origine.
pas	Base de données
étapes/actions	Tenseur	(8,)	flotteur32	L'action du robot comprend [position de l'effecteur final 3x, orientation de l'effecteur final 3x, action de préhension 1x, terminaison de l'épisode 1x].
étapes/remise	Scalaire		flotteur32	Remise si fournie, par défaut à 1.
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/langue_embedding	Tenseur	(512,)	flotteur32	Intégration du langage Kona. Voir https://tfhub.dev/google/universal-sentence-encoder-large/5
étapes/instruction_langue	Texte		chaîne	Enseignement des langues.
étapes/observation	FonctionnalitésDict
étapes/observation/highres_image	Image	(480, 640, 3)	uint8	Observation par caméra principale haute résolution
étapes/observation/image	Image	(64, 64, 3)	uint8	Observation RVB de la caméra principale.
étapes/récompense	Scalaire		flotteur32	Récompense si fournie, 1 à la dernière étape pour les démos.
étapes/action_structurée	Tenseur	(8,)	flotteur32	Action structurée, composée d'affordance hybride et de contrôle des effecteurs finaux, décrite dans Modèles du monde structurés à partir de vidéos humaines.

Clés supervisées (Voir doc as_supervised ) : None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :

Citation :

@inproceedings{mendonca2023structured,
              title={Structured World Models from Human Videos},
              author={Mendonca, Russell  and Bahl, Shikhar and Pathak, Deepak},
              journal={RSS},
              year={2023}
            }