Unidad lineal exponencial escalada (SELU).
La función de activación de la Unidad Lineal Exponencial Escalada (SELU) se define como:
-
if x > 0: return scale * x -
if x < 0: return scale * alpha * (exp(x) - 1)
donde alpha y scale son constantes predefinidas ( alpha=1.67326324 y scale=1.05070098 ).
Básicamente, la función de activación SELU multiplica scale (> 1) con la salida de la función elu para garantizar una pendiente mayor que uno para entradas positivas.
Los valores de alpha y scale se eligen de modo que la media y la varianza de las entradas se conserven entre dos capas consecutivas siempre que los pesos se inicialicen correctamente (consulte LeCun con distribución normal) y el número de unidades de entrada sea "suficientemente grande".
Notas: Para utilizar junto con el inicializador LeCun con Distribución Normal.
Ver también
Constructores Públicos
SELU (Ops tf) Crea una activación de unidad lineal exponencial escalada (SELU). |
Métodos públicos
| Operando <T> |
Métodos heredados
Constructores Públicos
SELU público (Ops tf)
Crea una activación de unidad lineal exponencial escalada (SELU).
Parámetros
| tf | las operaciones de TensorFlow |
|---|
Métodos públicos
Llamada pública de operando <T> (entrada de operando <T>)
Obtiene la operación de cálculo para la activación.
Parámetros
| aporte | el tensor de entrada |
|---|
Devoluciones
- El operando para la activación.