SELU

Unidade linear exponencial com escala (SELU).

A função de ativação da Unidade Linear Exponencial com Escala (SELU) é definida como:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

onde alpha e scale são constantes predefinidas ( alpha=1.67326324 e scale=1.05070098 ).

Basicamente, a função de ativação SELU multiplica a scale (> 1) com a saída da função elu para garantir uma inclinação maior que um para entradas positivas.

Os valores de alpha e scale são escolhidos de forma que a média e a variância das entradas sejam preservadas entre duas camadas consecutivas, desde que os pesos sejam inicializados corretamente (ver LeCun com distribuição normal) e o número de unidades de entrada seja "grande o suficiente"

Observações: Para ser usado junto com o inicializador LeCun com distribuição normal.