cmu_stretch

Description :

Bonjour les interactions dans la cuisine robot extensible

Page d'accueil : https://robo-affordances.github.io/
Code source : tfds.robotics.rtx.CmuStretch
Versions :
- 0.1.0 (par défaut) : version initiale.
Taille du téléchargement : Unknown size
Taille de l'ensemble de données : 728.06 MiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	135

Structure des fonctionnalités :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(8,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8),
            'state': Tensor(shape=(4,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_métadonnées	FonctionnalitésDict
épisode_metadata/file_path	Texte		chaîne	Chemin d'accès au fichier de données d'origine.
pas	Base de données
étapes/actions	Tenseur	(8,)	flotteur32	L'action du robot consiste en [3x ee pos, 3x ee rot 1x action binaire de pince, 1x terminer l'épisode].
étapes/remise	Scalaire		flotteur32	Remise si fournie, par défaut à 1.
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/langue_embedding	Tenseur	(512,)	flotteur32	Intégration du langage Kona. Voir https://tfhub.dev/google/universal-sentence-encoder-large/5
étapes/instruction_langue	Texte		chaîne	Enseignement des langues.
étapes/observation	FonctionnalitésDict
étapes/observation/image	Image	(128, 128, 3)	uint8	Observation RVB de la caméra principale.
étapes/observation/état	Tenseur	(4,)	flotteur32	L'état du robot comprend [3x angles d'articulation du robot/position ee, 1x position de la pince].
étapes/récompense	Scalaire		flotteur32	Récompense si fournie, 1 à la dernière étape pour les démos.

Clés supervisées (Voir doc as_supervised ) : None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :

Citation :

@inproceedings{bahl2023affordances,
  title={Affordances from Human Videos as a Versatile Representation for Robotics},
  author={Bahl, Shikhar and Mendonca, Russell and Chen, Lili and Jain, Unnat and Pathak, Deepak},
  booktitle={CVPR},
  year={2023}
}
@article{mendonca2023structured,
  title={Structured World Models from Human Videos},
  author={Mendonca, Russell and Bahl, Shikhar and Pathak, Deepak},
  journal={CoRL},
  year={2023}
}