Эта страница была переведа с помощью Cloud Translation API.
Switch to English

обзор

В последние несколько лет наблюдается рост новых дифференцируемых графических слоев, которые можно вставлять в архитектуры нейронных сетей. Начиная с пространственных преобразователей и заканчивая дифференцированными графическими средствами визуализации, эти новые уровни используют знания, полученные за годы компьютерного зрения и графических исследований, для создания новых и более эффективных сетевых архитектур. Явное моделирование геометрических априоров и ограничений в нейронных сетях открывает двери для архитектур, которые можно надежно, эффективно и, что более важно, обучать в режиме самоконтроля.

На высоком уровне конвейер компьютерной графики требует представления трехмерных объектов и их абсолютного положения на сцене, описания материала, из которого они сделаны, источников света и камеры. Это описание сцены затем интерпретируется средством визуализации для генерации синтетического рендеринга.

Для сравнения, система компьютерного зрения должна начинаться с изображения и пытаться определить параметры сцены. Это позволяет прогнозировать, какие объекты находятся на сцене, из каких материалов они сделаны, а также трехмерное положение и ориентацию.

Обучающие системы машинного обучения, способные решать эти сложные задачи трехмерного зрения, чаще всего требуют больших объемов данных. Поскольку маркировка данных является дорогостоящим и сложным процессом, важно иметь механизмы для разработки моделей машинного обучения, которые могут постигать трехмерный мир, обучаясь без особого надзора. Сочетание методов компьютерного зрения и компьютерной графики предоставляет уникальную возможность использовать огромное количество легкодоступных немеченых данных. Как показано на рисунке ниже, это может быть достигнуто, например, с помощью анализа путем синтеза, когда система зрения извлекает параметры сцены, а графическая система воспроизводит изображение на их основе. Если рендеринг соответствует исходному изображению, система визуального контроля точно извлекла параметры сцены. В этой конфигурации компьютерное зрение и компьютерная графика идут рука об руку, образуя единую систему машинного обучения, подобную автоэнкодеру, которую можно обучать в режиме самоконтроля.

Tensorflow Graphics разрабатывается, чтобы помочь решить эти типы задач, и для этого она предоставляет набор дифференцируемых графических и геометрических слоев (например, камеры, модели отражения, пространственные преобразования, свертки сетки) и функциональные возможности трехмерного средства просмотра (например, 3D TensorBoard), которые может использоваться для обучения и отладки ваших моделей машинного обучения по выбору.