Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

Plugin Mesh

Gambaran

Jerat dan titik awan adalah tipe data yang penting dan kuat untuk mewakili bentuk 3D dan banyak dipelajari dalam bidang visi komputer dan grafik komputer. Data 3D menjadi lebih di mana-mana dan para peneliti menantang masalah baru seperti rekonstruksi geometri 3D dari data 2D, segmentasi semantik titik awan 3D, menyelaraskan atau memetakan objek 3D dan sebagainya. Oleh karena itu, memvisualisasikan hasil, terutama selama tahap pelatihan, sangat penting untuk lebih memahami bagaimana kinerja model.

Plugin Mesh di TensorBoard {width = "100%"}

Plugin ini bermaksud untuk menampilkan titik awan 3D atau jerat (titik awan segitiga) di TensorBoard. Selain itu, ini memungkinkan pengguna untuk berinteraksi dengan objek yang diberikan.

API Ringkasan

Entah mesh atau titik awan dapat diwakili oleh serangkaian tensor. Misalnya, seseorang dapat melihat titik awan sebagai satu set koordinat 3D titik dan beberapa warna yang terkait dengan setiap titik.

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

CATATAN colors tensor adalah opsional dalam kasus ini tetapi dapat berguna untuk menampilkan semantik yang berbeda dari titik-titik tersebut.

Plugin saat ini hanya mendukung jerat segitiga yang berbeda dari titik awan di atas hanya dengan kehadiran wajah - set simpul yang mewakili segitiga di jala.

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

Hanya tensor colors yang opsional untuk ringkasan mesh.

Konfigurasi pemandangan

Cara bagaimana objek akan ditampilkan juga tergantung pada konfigurasi pemandangan, yaitu intensitas dan warna sumber cahaya, bahan objek, model kamera dan sebagainya. Semua itu dapat dikonfigurasi melalui parameter config_dict tambahan. Kamus ini dapat berisi tiga tombol tingkat tinggi: camera , lights , dan material . Setiap kunci juga harus berupa kamus dengan kunci wajib cls , yang mewakili nama kelas THREE.js yang valid.

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config dari snippet di atas dapat diperluas sesuai dengan dokumentasi THREE.js . Semua kunci dari camera_config akan diteruskan ke kelas dengan nama camera_config.cls . Misalnya (berdasarkan pada dokumentasi PerspectiveCamera ):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

Perlu diingat bahwa konfigurasi adegan bukan variabel yang dapat dilatih (yaitu statis) dan harus disediakan hanya selama pembuatan ringkasan.

Bagaimana cara meng-install

Saat ini plugin adalah bagian dari TensorBoard nightly build, oleh karena itu Anda harus menginstalnya sebelum menggunakan plugin.

Colab

pip install -q -U tb-nightly

Kemudian muat ekstensi Tensorboard dan jalankan, mirip dengan bagaimana Anda melakukannya di Terminal:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

Silakan baca contoh notebook Colab untuk lebih jelasnya.

Terminal

Jika Anda ingin menjalankan TensorBoard nightly build secara lokal, pertama-tama Anda harus menginstalnya:

 pip install tf-nightly
 

Kemudian jalankan saja:

 tensorboard --logdir path/to/logs