このページは Cloud Translation API によって翻訳されました。
Switch to English

メッシュプラグイン

概観

メッシュと点群は、3D形状を表すための重要で強力なデータタイプであり、コンピュータービジョンとコンピューターグラフィックスの分野で広く研究されています。 3Dデータはますますユビキタスになり、研究者は2Dデータからの3Dジオメトリの再構築、3D点群のセマンティックセグメンテーション、3Dオブジェクトの整列またはモーフィングなどの新しい問題に挑戦しています。したがって、特にトレーニング段階で結果を視覚化することは、モデルのパフォーマンスをよりよく理解するために重要です。

TensorBoardのメッシュプラグイン {width = "100%"}

このプラグインは、TensorBoardで3D点群またはメッシュ(三角形の点群)を表示することを目的としています。さらに、ユーザーはレンダリングされたオブジェクトを操作できます。

概要API

メッシュまたは点群は、テンソルのセットで表すことができます。たとえば、点群は、点の3D座標と各点に関連付けられたいくつかの色のセットとして見ることができます。

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

注この場合、 colorsテンソルはオプションですが、ポイントのさまざまなセマンティクスを示すのに役立ちます。

プラグインは現在、面の存在によってのみ上の点群とは異なる三角形メッシュのみをサポートしています-メッシュ上の三角形を表す頂点のセット。

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

メッシュサマリーでは、 colorsテンソルのみがオプションです。

シーン構成

オブジェクトの表示方法は、シーンの構成、つまり光源の強度と色、オブジェクトのマテリアル、カメラモデルなどにも依存します。これらはすべて、追加パラメーターconfig_dict介して構成config_dictます。このディクショナリには、 cameralightsmaterial 3つの高レベルキーが含まれている場合がありmaterial 。各キーは、有効なTHREE.jsクラス名を表す必須のキーcls持つディクショナリでもある必要があります。

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

上記のスニペットのcamera_configは、 THREE.jsのドキュメントに従って拡張できます 。すべてのキーcamera_config名前を持つクラスに渡されますcamera_config.cls 。例( PerspectiveCameraドキュメントに基づく):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

シーン構成はトレーニング可能な変数(つまり静的)ではなく、要約の作成時にのみ提供する必要があることに注意してください。

インストールする方法

現在、プラグインはTensorBoardナイトリービルドの一部であるため、プラグインを使用する前にプラグインをインストールする必要があります。

コラボ

pip install -q -U tb-nightly

次に、ターミナルで行うのと同様に、Tensorboard拡張機能をロードして実行します。

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

詳細については、 サンプルのColabノートブックを参照してください。

ターミナル

ローカルでTensorBoardビルドを実行する場合は、まずインストールする必要があります。

 pip install tf-nightly
 

次に、それを実行します。

 tensorboard --logdir path/to/logs