ELU

Unidad lineal exponencial.

La unidad lineal exponencial (ELU) con alpha > 0 es:

x si x > 0 y alpha * (exp(x) - 1) si x < 0 .

El hiperparámetro alpha de ELU controla el valor al que se satura una ELU para entradas netas negativas. Las ELU disminuyen el efecto de gradiente que desaparece.

Las ELU tienen valores negativos, lo que acerca la media de las activaciones a cero. Las activaciones medias más cercanas a cero permiten un aprendizaje más rápido ya que acercan el gradiente al gradiente natural. Las ELU se saturan hasta un valor negativo cuando el argumento se hace más pequeño. Saturación significa una pequeña derivada que disminuye la variación y la información que se propaga a la siguiente capa.

Uso de ejemplo:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);