本頁面由 Cloud Translation API 翻譯而成。
Switch to English

網格插件

總覽

網格和點雲是表示3D形狀的重要且強大的數據類型,並且在計算機視覺和計算機圖形學領域得到了廣泛的研究。 3D數據變得越來越普遍,研究人員向新問題提出了挑戰,例如從2D數據重建3D幾何,3D點雲語義分割,對齊或變形3D對像等。因此,可視化結果(尤其是在培訓階段)對於更好地了解模型的性能至關重要。

TensorBoard中的網格插件 {width =“ 100%”}

該插件旨在在TensorBoard中顯示3D點雲或網格(三角點雲)。另外,它允許用戶與渲染的對象進行交互。

摘要API

網格或點雲都可以由一組張量表示。例如,人們可以將點雲視為點的一組3D坐標以及與每個點關聯的一些顏色。

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

注意colors張量在這種情況下是可選的,但對於顯示點的不同語義可能很有用。

該插件目前僅支持三角形網格,該三角形網格與上面的點雲僅因存在面而不同-表示網格上三角形的一組頂點。

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

對於網格摘要,僅colors張量是可選的。

場景配置

如何顯示對象的方式還取決於場景配置,即光源的強度和顏色,對象的材質,相機模型等。所有這些都可以通過附加參數config_dict進行配置。該詞典可能包含三個高級鍵: cameralightsmaterial 。每個鍵還必須是帶有強制性鍵cls的字典,代表有效的THREE.js類名。

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config的摘錄中的camera_config可以根據THREE.js文檔進行擴展。來自camera_config所有鍵都將傳遞給名稱為camera_config.cls的類。例如(基於PerspectiveCamera文檔 ):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

請注意,場景配置不是可訓練的變量(即靜態),應僅在創建摘要時提供。

如何安裝

當前,該插件是TensorBoard每晚構建的一部分,因此您必須在使用該插件之前安裝它。

合作實驗室

pip install -q -U tb-nightly

然後加載Tensorboard擴展並運行它,類似於在終端中執行的操作:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

請參考示例Colab筆記本以獲取更多詳細信息。

終奌站

如果您想在本地每晚運行TensorBoard構建,首先需要安裝它:

 pip install tf-nightly
 

然後運行它:

 tensorboard --logdir path/to/logs