Unidad lineal exponencial escalada (SELU).
La función de activación de la unidad lineal exponencial escalada (SELU) se define como:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
donde alpha y scale son constantes predefinidas ( alpha=1.67326324 y scale=1.05070098 ).
Básicamente, la función de activación SELU multiplica la scale (> 1) con la salida de la función elu para asegurar una pendiente mayor que uno para entradas positivas.
Los valores de alpha y scale se eligen de modo que la media y la varianza de las entradas se conserven entre dos capas consecutivas siempre que los pesos se inicialicen correctamente (ver LeCun con distribución normal) y el número de unidades de entrada sea "suficientemente grande"
Notas: Para usar junto con el inicializador LeCun con distribución normal.
Ver también
Constructores públicos
SELU (Operaciones tf) Crea una activación de Unidad lineal exponencial escalada (SELU). |
Métodos públicos
| Operando <T> |
Métodos heredados
Constructores públicos
SELU pública (Ops tf)
Crea una activación de Unidad lineal exponencial escalada (SELU).
Parámetros
| tf | las operaciones de TensorFlow |
|---|