ELU

지수 선형 단위.

alpha > 0 인 지수 선형 단위(ELU)는 다음과 같습니다.

x x > 0 이면 x이고, x < 0 이면 alpha * (exp(x) - 1) 입니다.

ELU 하이퍼파라미터 alpha ELU가 음수 순 입력에 대해 포화되는 값을 제어합니다. ELU는 Vanishing Gradient 효과를 감소시킵니다.

ELU는 활성화 평균을 0에 가깝게 만드는 음수 값을 갖습니다. 0에 가까운 평균 활성화는 기울기를 자연 기울기에 더 가깝게 가져오기 때문에 더 빠른 학습을 가능하게 합니다. 인수가 작아지면 ELU는 음수 값으로 포화됩니다. 포화는 다음 레이어로 전파되는 정보와 변화를 감소시키는 작은 파생물을 의미합니다.

사용 예:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);