Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Структура нейронно-структурированного обучения

Нейронно-структурированное обучение (NSL) фокусируется на обучении глубоких нейронных сетей путем использования структурированных сигналов (если они доступны) вместе с входными данными. Как введена Буй и др. (WSDM'18) , эти структурированные сигналы используются для упорядочения обучения нейронной сети, заставляя модель , чтобы узнать точные прогнозы (путем сведения к минимуму потери контролируемого), в то же время сохраняя при этом входное структурное сходство ( за счет минимизации потерь соседа см. рисунок ниже). Этот метод является универсальным и может применяться к произвольным нейронным архитектурам (например, сетям с прямой связью, сверточным сетям и рекуррентным сетям).

Концепция NSL

Обратите внимание, что обобщенное уравнение потерь для соседей является гибким и может иметь другие формы, помимо проиллюстрированной выше. Например, мы можем также выбрать\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) быть потери соседа, который вычисляет расстояние между землей истиной \(y_i\)и предсказанием от соседа \(g_\theta(x_j)\). Это обычно используется в состязательном обучения (Гудфеллоу и др., ICLR'15) . Поэтому, NSL обобщается на Neural График обучения , если соседи явно представлены в виде графа, и состязательного обучения , если соседи неявно индуцированный состязательного возмущение.

Общий рабочий процесс нейронного структурированного обучения проиллюстрирован ниже. Черные стрелки представляют стандартный рабочий процесс обучения, а красные стрелки представляют новый рабочий процесс, введенный NSL для использования структурированных сигналов. Во-первых, обучающие образцы расширяются, чтобы включить в них структурированные сигналы. Когда структурированные сигналы не предоставляются явно, они могут быть либо сконструированы, либо индуцированы (последнее относится к состязательному обучению). Затем расширенные обучающие выборки (включая исходные образцы и их соответствующие соседи) подаются в нейронную сеть для вычисления их вложений. Расстояние между встраиванием образца и встраиванием его соседа вычисляется и используется как потеря соседа, которая рассматривается как член регуляризации и добавляется к окончательной потере. Для явной регуляризации на основе соседей мы обычно вычисляем потерю соседей как расстояние между встраиванием образца и вложением соседа. Однако любой уровень нейронной сети может использоваться для вычисления потерь соседей. С другой стороны, для индуцированной регуляризации на основе соседей (состязательной) мы вычисляем потерю соседей как расстояние между выходным предсказанием индуцированного враждебного соседа и наземной меткой истинности.

Рабочий процесс NSL

Зачем использовать NSL?

NSL дает следующие преимущества:

  • Более высокая точность: структурированный сигнал (ы) среди образцов могут предоставить информацию, которая не всегда доступен в художественных входах; Таким образом, совместный подход к обучению (с обеих структурированных сигналов и функций) было показано , что превосходит многие существующие методы (которые полагаются на обучение только с особенностями) на широкий спектр задач, таких как классификации документов и семантической умысел классификации ( Буй и др ., WSDM'18 & Kipf и др., ICLR'17 ).
  • Робастность: модели обученные с состязательными примерами были показаны, быть устойчивыми против состязательности возмущений , предназначенных для ввода в заблуждение предсказания или КЛАССИФИКАЦИИ модели ( Гудфелий и др. ICLR'15 & Miyato и др, ICLR'16. ). Когда количество обучающих выборок мало, обучение с примерами состязательными также помогает улучшить точность модели ( Ципрас и др., ICLR'19 ).
  • Меньше требуются маркированные данные: NSL позволяет нейронную сеть , чтобы использовать как меченые и немаркированные данные, что расширяет парадигму обучения для полуобучаемого обучения . В частности, NSL позволяет сети обучаться с использованием помеченных данных, как в контролируемой настройке, и в то же время заставляет сеть изучать аналогичные скрытые представления для «соседних выборок», которые могут иметь или не иметь метки. Этот метод показал большие перспективы для повышения точности модели , когда количество меченых данных относительно мало ( Буй и др., WSDM'18 & Miyato и др., ICLR'16 ).

Пошаговые инструкции

Чтобы получить практический опыт работы с нейронно-структурированным обучением, у нас есть учебные пособия, которые охватывают различные сценарии, в которых структурированные сигналы могут быть явно заданы, созданы или индуцированы. Вот несколько:

Другие примеры и учебники можно найти в примерах директории репозитория GitHub.