Questa pagina è stata tradotta dall'API Cloud Translation.
Switch to English

Plugin mesh

Panoramica

Maglie e nuvola di punti sono importanti e potenti tipi di dati per rappresentare forme 3D e ampiamente studiati nel campo della visione artificiale e della computer grafica. I dati 3D stanno diventando sempre più onnipresenti e i ricercatori sfidano nuovi problemi come la ricostruzione della geometria 3D da dati 2D, la segmentazione semantica della nuvola di punti 3D, l'allineamento o il morphing di oggetti 3D e così via. Pertanto, visualizzare i risultati, specialmente durante la fase di allenamento, è fondamentale per comprendere meglio le prestazioni del modello.

Plugin mesh in TensorBoard {Width = "100%"}

Questo plugin intende visualizzare nuvole di punti 3D o mesh (nuvole di punti triangolate) in TensorBoard. Inoltre, consente all'utente di interagire con gli oggetti renderizzati.

API di riepilogo

Una mesh o una nuvola di punti possono essere rappresentate da una serie di tensori. Ad esempio, si può vedere una nuvola di punti come un insieme di coordinate 3D dei punti e di alcuni colori associati a ciascun punto.

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

NOTA il tensore dei colors è facoltativo in questo caso, ma può essere utile per mostrare diverse semantiche dei punti.

Il plugin attualmente supporta solo mesh triangolari che sono diverse dalle nuvole di punti sopra solo per la presenza di facce - insieme di vertici che rappresentano il triangolo sulla mesh.

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

Solo il tensore dei colors è opzionale per i riepiloghi delle maglie.

Configurazione della scena

Il modo in cui gli oggetti verranno visualizzati dipende anche dalla configurazione della scena, ovvero intensità e colore delle sorgenti luminose, materiale degli oggetti, modelli di telecamere e così via. Tutto ciò può essere configurato tramite un parametro aggiuntivo config_dict . Questo dizionario può contenere tre tasti di alto livello: camera , lights e material . Ogni chiave deve anche essere un dizionario con cls chiave obbligatoria, che rappresenta un nome di classe THREE.js valido.

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config dal frammento sopra può essere espanso in base alla documentazione THREE.js . Tutte le chiavi di camera_config verranno passate a una classe con nome camera_config.cls . Ad esempio (basato sulla documentazione di PerspectiveCamera ):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

Ricorda che la configurazione della scena non è una variabile allenabile (cioè statica) e deve essere fornita solo durante la creazione di riepiloghi.

Come installare

Attualmente il plug-in fa parte della build notturna di TensorBoard, quindi è necessario installarlo prima di utilizzare il plug-in.

CoLab

pip install -q -U tb-nightly

Quindi carica l'estensione Tensorboard ed eseguila, in modo simile a come faresti nel Terminale:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

Consultare l' esempio del quaderno Colab per maggiori dettagli.

terminale

Se vuoi eseguire la build notturna di TensorBoard localmente, devi prima installarlo:

 pip install tf-nightly
 

Quindi eseguilo:

 tensorboard --logdir path/to/logs