이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

신경 구조 학습 프레임 워크

NLS (Neural Structured Learning)는 기능 입력과 함께 구조화 된 신호 (사용 가능한 경우)를 활용하여 심층 신경망 교육에 중점을 둡니다. Bui et al. (WSDM'18)에서 , 이러한 구조화 된 신호는 신경망의 훈련을 정규화하는 데 사용되며, 모델이 정확한 예측을 배우도록하고 (감독 손실을 최소화함으로써) 입력 구조적 유사성을 유지하면서 (이웃 손실을 최소화함으로써) 아래 그림 참조). 이 기술은 일반적이며 임의의 신경 아키텍처 (피드 포워드 NN, 컨볼 루션 NN 및 반복 NN과 같은)에 적용될 수 있습니다.

NSL 개념

일반화 된 이웃 손실 방정식은 융통성이 있으며 위에서 설명한 것 이외의 다른 형태를 가질 수 있습니다. 예를 들어,

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

지상 손실 사이의 거리를 계산하는 이웃 손실로

$$ y_i $$

이웃으로부터의 예측

$$ g_ \ 세타 (x_j) $$

. 이것은 일반적으로 적대적 학습에 사용됩니다 (Goodfellow et al., ICLR'15) . 따라서 NSL은 이웃이 그래프 로 명시 적으로 표현되는 경우 신경 그래프 학습으로 , 이웃이 적대적 섭동에 의해 암시 적으로 유도되면 Adversarial Learning 으로 일반화됩니다.

신경 구조 학습의 전체 워크 플로가 아래에 나와 있습니다. 검은 색 화살표는 기존 교육 워크 플로우를 나타내고 빨간색 화살표는 구조화 된 신호를 활용하기 위해 NSL에서 도입 한 새로운 워크 플로우를 나타냅니다. 먼저, 훈련 샘플은 구조화 된 신호를 포함하도록 증강된다. 구조화 된 신호가 명시 적으로 제공되지 않으면, 구성되거나 유도 될 수 있습니다 (후자는 적대 학습에 적용됨). 다음으로, 증강 된 훈련 샘플 (원래 샘플 및 해당 이웃을 모두 포함 함)은 임베딩을 계산하기 위해 신경망에 공급된다. 샘플 임베딩과 인접 임베딩 사이의 거리가 계산되어 인접 손실로 사용되며, 이는 정규화 용어로 취급되어 최종 손실에 추가됩니다. 명시적인 이웃 기반 정규화의 경우, 일반적으로 이웃의 손실을 샘플의 임베딩과 이웃의 임베딩 사이의 거리로 계산합니다. 그러나, 신경망의 임의의 계층은 이웃 손실을 계산하는데 사용될 수있다. 다른 한편으로, 유도 된 이웃 기반 정규화 (대적)의 경우, 우리는 유도 된 적대 이웃의 출력 예측과지면 진실 레이블 사이의 거리로 이웃 손실을 계산합니다.

NSL 워크 플로우

왜 NSL을 사용합니까?

NSL은 다음과 같은 장점을 제공합니다.

  • 더 높은 정확도 : 샘플 중 구조화 된 신호는 기능 입력에서 항상 사용 가능한 것은 아닌 정보를 제공 할 수 있습니다. 따라서 (구조화 된 신호와 특징을 가진) 공동 훈련 접근법은 문서 분류 및 의미 론적 분류와 같은 광범위한 작업에서 기존의 많은 방법 (특성만을 이용한 훈련에 의존 함)을 능가하는 것으로 나타났습니다 ( Bui et al. WSDM'18 & Kipf et al., ICLR'17 ).
  • 견고성 : 적대적 사례로 훈련 된 모델은 모델의 예측 또는 분류를 오도하도록 고안된 적대적 섭동에 대해 강력한 것으로 나타났습니다 ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). 훈련 샘플의 수가 적을 때, 적대적인 예제를 사용한 훈련은 모델 정확도를 향상시키는 데 도움이됩니다 ( Tsipras et al., ICLR'19 ).
  • 덜 레이블이 필요한 데이터 : NSL은 신경망이 레이블이있는 데이터와 레이블이없는 데이터를 모두 활용할 수 있도록하여 학습 패러다임을 반지도 학습으로 확장합니다. 특히 NSL을 사용하면 네트워크에서 감독 설정과 같이 레이블이 지정된 데이터를 사용하여 학습 할 수 있으며 동시에 레이블이 있거나 없을 수있는 "이웃 샘플"에 대해 유사한 숨겨진 표현을 학습 할 수 있습니다. 이 기술은 라벨링 된 데이터의 양이 비교적 적을 때 모델 정확도를 향상시킬 수있는 큰 가능성을 보여 주었다 ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

단계별 튜토리얼

신경 구조 학습에 대한 실습 경험을 얻기 위해 구조화 된 신호가 명시 적으로 제공, 유도 또는 구성 될 수있는 다양한 시나리오를 다루는 3 개의 학습서가 있습니다.