ELU

Unidad lineal exponencial.

La unidad lineal exponencial (ELU) con alpha > 0 es:

x si x > 0 y alpha * (exp(x) - 1) si x < 0 .

El hiperparámetro alpha ELU controla el valor al que se satura un ELU para entradas netas negativas. Los ELU disminuyen el efecto de degradado de desaparición.

Los ELU tienen valores negativos que acercan la media de las activaciones a cero. Las activaciones medias más cercanas a cero permiten un aprendizaje más rápido a medida que acercan el gradiente al gradiente natural. Los ELU se saturan a un valor negativo cuando el argumento se vuelve más pequeño. Saturación significa una pequeña derivada que disminuye la variación y la información que se propaga a la siguiente capa.

Ejemplo de uso:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);