RSVP для вашего местного мероприятия TensorFlow Everywhere сегодня!
Эта страница переведена с помощью Cloud Translation API.
Switch to English

Обзор

В последние несколько лет наблюдается рост числа новых дифференцируемых графических слоев, которые можно вставлять в архитектуры нейронных сетей. От пространственных преобразователей до дифференцируемых графических рендеров - эти новые слои используют знания, полученные за годы исследований компьютерного зрения и графики, для создания новых и более эффективных сетевых архитектур. Явное моделирование геометрических априорных значений и ограничений в нейронных сетях открывает двери для архитектур, которые можно обучать надежно, эффективно и, что более важно, в режиме самоконтроля.

На высоком уровне конвейер компьютерной графики требует представления трехмерных объектов и их абсолютного позиционирования в сцене, описания материала, из которого они сделаны, источников света и камеры. Это описание сцены затем интерпретируется средством визуализации для создания синтетической визуализации.

Для сравнения: система компьютерного зрения будет начинать с изображения и пытаться определить параметры сцены. Это позволяет предсказать, какие объекты находятся на сцене, из каких материалов они сделаны, а также их трехмерное положение и ориентацию.

Обучающие системы машинного обучения, способные решать эти сложные задачи трехмерного зрения, чаще всего требуют больших объемов данных. Поскольку маркировка данных - дорогостоящий и сложный процесс, важно иметь механизмы для разработки моделей машинного обучения, которые могут понимать трехмерный мир при обучении без особого контроля. Сочетание методов компьютерного зрения и компьютерной графики предоставляет уникальную возможность использовать огромные объемы легко доступных немаркированных данных. Как показано на изображении ниже, это может быть достигнуто, например, с использованием анализа путем синтеза, когда система технического зрения извлекает параметры сцены, а графическая система воспроизводит изображение на их основе. Если рендеринг соответствует исходному изображению, система технического зрения точно извлекла параметры сцены. В этой настройке компьютерное зрение и компьютерная графика идут рука об руку, образуя единую систему машинного обучения, похожую на автокодировщик, которую можно обучать самостоятельно.

Tensorflow Graphics разрабатывается, чтобы помочь решить эти типы проблем, и для этого она предоставляет набор дифференцируемых графических и геометрических слоев (например, камеры, модели отражения, пространственные преобразования, свертки сетки) и функции средства трехмерного просмотра (например, 3D TensorBoard), которые можно использовать для обучения и отладки выбранных вами моделей машинного обучения.