SELU

Unidade Linear Exponencial Escalada (SELU).

A função de ativação da Unidade Linear Exponencial Escalada (SELU) é definida como:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

onde alpha e scale são constantes predefinidas ( alpha=1.67326324 e scale=1.05070098 ).

Basicamente, a função de ativação SELU multiplica a scale (> 1) pela saída da função elu para garantir uma inclinação maior do que para entradas positivas.

Os valores de alpha e scale são escolhidos de forma que a média e a variância das entradas sejam preservadas entre duas camadas consecutivas, desde que os pesos sejam inicializados corretamente (ver LeCun com distribuição normal) e o número de unidades de entrada seja "grande o suficiente"

Notas: Para ser usado em conjunto com o inicializador LeCun com Distribuição Normal.