SELU

SELU(스케일 지수 선형 단위).

SELU(Scaled Exponential Linear Unit) 활성화 함수는 다음과 같이 정의됩니다.

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

여기서 alpha 및 scale 미리 정의된 상수( alpha=1.67326324 및 scale=1.05070098 )입니다.

기본적으로 SELU 활성화 함수는 elu 함수의 출력에 scale (> 1)을 곱하여 양수 입력에 대해 1보다 큰 기울기를 보장합니다.

scale 가 올바르게 초기화되고(정규 분포를 사용하는 LeCun 참조) 입력 단위 수가 "충분히 큰" 한 입력의 평균과 분산이 두 개의 연속 레이어 간에 유지되도록 alpha 및 스케일 값이 선택됩니다.

참고: 정규 분포와 함께 LeCun 이니셜라이저와 함께 사용됩니다.