Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Обзор

В последние несколько лет наблюдается рост новых дифференцируемых графических слоев, которые можно вставлять в архитектуры нейронных сетей. Эти новые уровни, от пространственных преобразователей до дифференцируемых графических средств визуализации, используют знания, полученные за годы исследований компьютерного зрения и графики, для создания новых и более эффективных сетевых архитектур. Явное моделирование геометрических априорных значений и ограничений в нейронных сетях открывает двери для архитектур, которые можно обучать надежно, эффективно и, что более важно, в режиме самоконтроля.

На высоком уровне конвейер компьютерной графики требует представления трехмерных объектов и их абсолютного позиционирования в сцене, описания материала, из которого они сделаны, источников света и камеры. Это описание сцены затем интерпретируется средством визуализации для создания синтетической визуализации.

Для сравнения, система компьютерного зрения будет начинать с изображения и пытаться вывести параметры сцены. Это позволяет предсказать, какие объекты находятся в сцене, из каких материалов они сделаны, а также их трехмерное положение и ориентацию.

Обучающие системы машинного обучения, способные решать эти сложные задачи трехмерного зрения, чаще всего требуют больших объемов данных. Поскольку маркировка данных - дорогостоящий и сложный процесс, важно иметь механизмы для разработки моделей машинного обучения, которые могут понимать трехмерный мир при обучении без особого надзора. Сочетание компьютерного зрения и компьютерной графики дает уникальную возможность использовать огромные объемы легко доступных немаркированных данных. Как показано на изображении ниже, это может быть достигнуто, например, с использованием анализа путем синтеза, когда система технического зрения извлекает параметры сцены, а графическая система воспроизводит изображение на их основе. Если визуализация соответствует исходному изображению, система технического зрения точно извлекла параметры сцены. В этой настройке компьютерное зрение и компьютерная графика идут рука об руку, образуя единую систему машинного обучения, подобную автоэнкодеру, которую можно обучать самостоятельно.

Tensorflow Graphics разрабатывается, чтобы помочь справиться с этими типами проблем, и для этого она предоставляет набор дифференцируемых графических и геометрических слоев (например, камеры, модели отражения, пространственные преобразования, свертки сетки) и функции средства трехмерного просмотра (например, 3D TensorBoard), которые можно использовать для обучения и отладки выбранных вами моделей машинного обучения.