Эта страница была переведа с помощью Cloud Translation API.
Switch to English

Mesh Plugin

обзор

Сетки и облака точек являются важными и мощными типами данных для представления трехмерных фигур и широко изучаются в области компьютерного зрения и компьютерной графики. Трехмерные данные становятся все более распространенными, и исследователи ставят новые задачи, такие как реконструкция трехмерной геометрии по двумерным данным, семантическая сегментация трехмерного облака точек, выравнивание или изменение трехмерных объектов и так далее. Поэтому визуализация результатов, особенно на этапе обучения, очень важна для лучшего понимания работы модели.

Сетевой плагин в TensorBoard {Ширина = "100%"}

Этот плагин предназначен для отображения трехмерных облаков точек или сеток (триангулированных облаков точек) в TensorBoard. Кроме того, он позволяет пользователю взаимодействовать с визуализированными объектами.

Резюме API

Сетка или облако точек может быть представлена ​​набором тензоров. Например, можно увидеть облако точек как набор трехмерных координат точек и некоторых цветов, связанных с каждой точкой.

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

ПРИМЕЧАНИЕ Тензор colors является обязательным в этом случае, но может быть полезен для отображения различной семантики точек.

В настоящее время плагин поддерживает только треугольные сетки, которые отличаются от облаков точек только наличием граней - набором вершин, представляющих треугольник на сетке.

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

Только тензор colors необязателен для сводок сетки.

Конфигурация сцены

Способ отображения объектов также зависит от конфигурации сцены, то есть интенсивности и цвета источников света, материала объектов, моделей камер и т. Д. Все это можно настроить с помощью дополнительного параметра config_dict . Этот словарь может содержать три высокоуровневых ключа: camera , lights и material . Каждый ключ также должен быть словарем с обязательным ключом cls , представляющим действительное имя класса THREE.js .

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config из приведенного выше фрагмента может быть расширен в соответствии с документацией THREE.js . Все ключи из camera_config будут переданы в класс с именем camera_config.cls . Например (на основе документации PerspectiveCamera ):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

Помните, что конфигурация сцены не является обучаемой переменной (то есть статической) и должна предоставляться только во время создания резюме.

Как установить

В настоящее время плагин является частью ночной сборки TensorBoard, поэтому вы должны установить его перед использованием плагина.

Colab

pip install -q -U tb-nightly

Затем загрузите расширение Tensorboard и запустите его, как в терминале:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

Пожалуйста, ознакомьтесь с примером ноутбука Colab для более подробной информации.

Терминал

Если вы хотите запускать ночные сборки TensorBoard локально, сначала вам нужно установить их:

 pip install tf-nightly
 

Тогда просто запустите это:

 tensorboard --logdir path/to/logs