ELU

Unidade linear exponencial.

A unidade linear exponencial (ELU) com alpha > 0 é:

x se x > 0 e alpha * (exp(x) - 1) se x < 0 .

O hiperparâmetro ELU alpha controla o valor ao qual um ELU satura para entradas líquidas negativas. ELUs diminuem o efeito de gradiente de desaparecimento.

ELUs têm valores negativos que empurra a média das ativações para perto de zero. As ativações médias mais próximas de zero permitem um aprendizado mais rápido, pois trazem o gradiente para mais perto do gradiente natural. ELUs saturam para um valor negativo quando o argumento fica menor. Saturação significa uma pequena derivada que diminui a variação e a informação que é propagada para a próxima camada.

Exemplo de uso:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);