Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Wtyczka Mesh

Przegląd

Siatki i chmury punktów są ważnymi i potężnymi typami danych do przedstawiania kształtów 3D i są szeroko badane w dziedzinie widzenia komputerowego i grafiki komputerowej. Dane 3D stają się coraz bardziej wszechobecne, a naukowcy rzucają wyzwanie nowym problemom, takim jak rekonstrukcja geometrii 3D z danych 2D, semantyczna segmentacja chmury punktów 3D, wyrównywanie lub morfowanie obiektów 3D i tak dalej. Dlatego wizualizacja wyników, szczególnie na etapie szkolenia, ma kluczowe znaczenie dla lepszego zrozumienia działania modelu.

Wtyczka Mesh w TensorBoard {szerokość = "100%"}

Ta wtyczka służy do wyświetlania chmur punktów lub siatek 3D (trójkątnych chmur punktów) w TensorBoard. Ponadto umożliwia użytkownikowi interakcję z renderowanymi obiektami.

Summary API

Siatkę lub chmurę punktów można przedstawić za pomocą zestawu tensorów. Na przykład, można zobaczyć chmurę punktów jako zbiór współrzędnych 3D punktów i niektórych kolorów skojarzonych z każdym punktem.

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

UWAGA Tensor colors jest w tym przypadku opcjonalny, ale może być przydatny do pokazania innej semantyki punktów.

Wtyczka obecnie obsługuje tylko siatki trójkątne, które różnią się od chmur punktów powyżej jedynie obecnością ścian - zestawu wierzchołków reprezentujących trójkąt na siatce.

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

Tylko tensor colors jest opcjonalny dla podsumowań siatki.

Konfiguracja sceny

Sposób wyświetlania obiektów zależy również od konfiguracji sceny, tj. Natężenia i koloru źródeł światła, materiału obiektów, modeli kamer i tak dalej. Wszystko to można skonfigurować za pomocą dodatkowego parametru config_dict . Ten słownik może zawierać trzy klawisze wysokiego poziomu: camera , lights i material . Każdy klucz musi być również słownikiem z obowiązkowymi kluczami cls , reprezentującymi poprawną nazwę klasy THREE.js .

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config z powyższego fragmentu kodu można rozszerzyć zgodnie z dokumentacją THREE.js . Wszystkie klucze z camera_config zostaną przekazane do klasy o nazwie camera_config.cls . Na przykład (na podstawie dokumentacji PerspectiveCamera ):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

Należy pamiętać, że konfiguracja sceny nie jest zmienną możliwą do trenowania (tj. Statyczną) i powinna być podawana tylko podczas tworzenia podsumowań.

Jak zainstalować

Obecnie wtyczka jest częścią nocnej kompilacji TensorBoard, dlatego przed użyciem wtyczki należy ją zainstalować.

Colab

pip install -q -U tb-nightly

Następnie załaduj rozszerzenie Tensorboard i uruchom je, podobnie jak zrobiłbyś to w Terminalu:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

Więcej informacji można znaleźć w przykładowym notatniku Colab .

Terminal

Jeśli chcesz lokalnie uruchamiać nocne kompilacje TensorBoard, najpierw musisz je zainstalować:

 pip install tf-nightly
 

Następnie po prostu uruchom:

 tensorboard --logdir path/to/logs