Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

Mesh Eklentisi

genel bakış

Kafesler ve nokta bulutu, 3D şekilleri temsil etmek için önemli ve güçlü veri türleridir ve bilgisayar görme ve bilgisayar grafikleri alanında geniş çapta incelenmiştir. 3B veriler her yerde yaygınlaşıyor ve araştırmacılar 2B verilerden 3B geometri rekonstrüksiyonu, 3B nokta bulutu semantik segmentasyonu, 3B nesneleri hizalama veya dönüştürme gibi yeni sorunlara meydan okuyor. Bu nedenle, özellikle eğitim aşamasında sonuçları görselleştirmek, modelin nasıl performans gösterdiğini daha iyi anlamak için önemlidir.

TensorBoard'da Mesh Eklentisi {Genişlik = "% 100"}

Bu eklenti, TensorBoard'da 3B nokta bulutlarını veya kafesleri (üçgenlenmiş nokta bulutları) göstermeyi amaçlamaktadır. Buna ek olarak, kullanıcının oluşturulan nesnelerle etkileşime girmesini sağlar.

Özet API'sı

Bir kafes veya nokta bulutu bir dizi tensör ile temsil edilebilir. Örneğin, bir nokta bulutu, noktaların 3B koordinatları kümesi ve her nokta ile ilişkili bazı renkler olarak görülebilir.

 from tensorboard.plugins.mesh import summary as mesh_summary
...

point_cloud = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
point_colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])

summary = mesh_summary.op('point_cloud', vertices=point_cloud, colors=point_colors)
 

NOT colors tensörü bu durumda isteğe bağlıdır, ancak noktaların farklı anlamlarını göstermek için yararlı olabilir.

Eklenti şu anda yalnızca, üstteki nokta bulutlarından farklı olan ve sadece yüzlerin varlığıyla üçgen ağları desteklemektedir - kafes üzerindeki üçgeni temsil eden köşe kümeleri.

 mesh = tf.constant([[[0.19, 0.78, 0.02], ...]], shape=[1, 1064, 3])
colors = tf.constant([[[128, 104, 227], ...]], shape=[1, 1064, 3])
faces = tf.constant([[[13, 78, 54], ...]], shape=[1, 752, 3])

summary = mesh_summary.op('mesh', vertices=mesh, colors=colors, faces=faces)
 

Kafes özetleri için sadece colors tensörü isteğe bağlıdır.

Sahne yapılandırması

Nesnelerin nasıl görüntüleneceği de sahne yapılandırmasına, yani ışık kaynaklarının yoğunluğuna ve rengine, nesnelerin malzemesine, kamera modellerine vb. Bağlıdır. Bunların tümü ek bir config_dict parametresi ile yapılandırılabilir. Bu sözlükte üç üst düzey anahtar bulunabilir: camera , lights ve material . Her anahtar da zorunlu anahtar ile bir sözlük olmalıdır cls geçerli temsil Three.js sınıf adını.

 camera_config = {'cls': 'PerspectiveCamera'}
summary = mesh_summary.op(
    "mesh",
    vertices=mesh,
    colors=colors,
    faces=faces,
    config_dict={"camera": camera_config},
)
 

camera_config göre genişletilebilir yukarıda pasajımızdaki Three.js belgeleri . camera_config tüm anahtarlar camera_config bir sınıfa camera_config.cls . Örneğin ( PerspectiveCamera belgelerine dayanarak):

 camera_config = {
  'cls': 'PerspectiveCamera',
  'fov': 75,
  'aspect': 0.9,
}
...
 

Sahne konfigürasyonunun eğitilebilir bir değişken (yani statik) olmadığını ve yalnızca özetler oluşturulurken sağlanması gerektiğini unutmayın.

Nasıl kurulur

Şu anda eklenti TensorBoard gecelik yapısının bir parçasıdır, bu nedenle eklentiyi kullanmadan önce yüklemeniz gerekir.

CoLab

pip install -q -U tb-nightly

Ardından Tensorboard uzantısını yükleyin ve Terminal'de nasıl yapacağınıza benzer şekilde çalıştırın:

 %load_ext tensorboard
%tensorboard --logdir=/path/to/logs
 

Daha fazla bilgi için lütfen örnek Colab not defterine bakın.

terminal

TensorBoard'u her gece yerel olarak çalıştırmak istiyorsanız, önce yüklemeniz gerekir:

 pip install tf-nightly
 

Sonra sadece çalıştırın:

 tensorboard --logdir path/to/logs