이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

The Neural Structured Learning Framework

NSL (Neural Structured Learning)은 기능 입력과 함께 구조화 된 신호 (사용 가능한 경우)를 활용하여 심층 신경망 훈련에 중점을 둡니다. Bui et al. (WSDM'18) , 이러한 구조화 된 신호는 신경망의 훈련을 정규화하는 데 사용되며, 모델이 정확한 예측 (감독 손실 최소화)을 학습하도록하는 동시에 입력 구조적 유사성을 유지합니다 (이웃 손실 최소화). , 아래 그림 참조). 이 기술은 일반적이며 임의의 신경 아키텍처 (예 : Feed-forward NN, Convolutional NN 및 Recurrent NN)에 적용될 수 있습니다.

NSL 개념

일반화 된 이웃 손실 방정식은 유연하며 위에 설명 된 것과 다른 형태를 가질 수 있습니다. 예를 들어

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

지상 진실 사이의 거리를 계산하는 이웃 손실

$$y_i$$

그리고 이웃의 예측

$$g_\theta(x_j)$$

. 이것은 일반적으로 적대적 학습에 사용됩니다 (Goodfellow et al., ICLR'15) . 이웃이 암시 적으로 적대적 섭동에 의해 유도되는 경우 따라서, 신경 그래프 학습에 NSL의 일반화는 이웃 명시 적 그래프로 표현하고, 적대 학습을하는 경우.

신경 구조적 학습의 전체 워크 플로는 다음과 같습니다. 검은 색 화살표는 기존 교육 워크 플로를 나타내고 빨간색 화살표는 구조화 된 신호를 활용하기 위해 NSL에서 도입 한 새로운 워크 플로를 나타냅니다. 첫째, 훈련 샘플은 구조화 된 신호를 포함하도록 확장됩니다. 구조화 된 신호가 명시 적으로 제공되지 않으면 구성되거나 유도 될 수 있습니다 (후자는 적대적 학습에 적용됨). 다음으로, 증강 훈련 샘플 (원래 샘플과 해당 이웃 모두 포함)은 임베딩을 계산하기 위해 신경망에 공급됩니다. 샘플의 임베딩과 인접 임베딩 사이의 거리가 계산되어 인접 손실로 사용되며, 이는 정규화 항으로 처리되고 최종 손실에 추가됩니다. 명시 적 이웃 기반 정규화의 경우 일반적으로 이웃 손실을 샘플의 임베딩과 이웃 임베딩 사이의 거리로 계산합니다. 그러나 신경망의 모든 계층이 인접 손실을 계산하는 데 사용될 수 있습니다. 반면에 유도 된 이웃 기반 정규화 (적대적)의 경우, 유도 된 적대적 이웃의 출력 예측과 실측 레이블 간의 거리로 이웃 손실을 계산합니다.

NSL 워크 플로우

왜 NSL을 사용합니까?

NSL은 다음과 같은 이점을 제공합니다.

  • 더 높은 정확도 : 샘플 간의 구조화 된 신호는 기능 입력에서 항상 사용할 수있는 정보를 제공 할 수 있습니다. 따라서 문서 분류 및 의미 론적 의도 분류 ( Bui et al.) 와 같은 광범위한 작업에서 공동 학습 접근 방식 (구조화 된 신호 및 기능 모두 포함)이 기존의 많은 방법 (특성 만 포함 된 학습에만 의존)을 능가하는 것으로 나타났습니다. ., WSDM'18 & Kipf et al., ICLR'17 ).
  • 견고성 : 적대적 예제로 훈련 된 모델은 모델의 예측 또는 분류를 오도하도록 설계된 적대적 섭동에 대해 견고 함이 입증되었습니다 ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). 훈련 샘플의 수가 적 으면 적대적 예제를 사용한 훈련도 모델 정확도를 개선하는 데 도움이됩니다 ( Tsipras et al., ICLR'19 ).
  • 덜 라벨링 된 데이터 필요 : NSL은 신경망이 라벨링 된 데이터 와 라벨링되지 않은 데이터를 모두 활용할 수 있도록하여 학습 패러다임을 준지도 학습으로 확장합니다. 특히 NSL을 사용하면 네트워크가 감독 된 설정에서와 같이 레이블이 지정된 데이터를 사용하여 훈련 할 수 있으며 동시에 레이블이 있거나 없을 수있는 "인접 샘플"에 대해 유사한 숨겨진 표현을 학습하도록 네트워크를 구동합니다. 이 기술은 레이블이 지정된 데이터의 양이 상대적으로 적을 때 모델 정확도를 향상시킬 수있는 큰 가능성을 보여주었습니다 ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

단계별 자습서

Neural Structured Learning에 대한 실습 경험을 얻기 위해 구조화 된 신호를 명시 적으로 제공, 유도 또는 구성 할 수있는 다양한 시나리오를 다루는 3 개의 자습서가 있습니다.