Swish

cours public swish

Fonction d'activation Swish. swish(x) = x * sigmoid(x) .

Fonction d'activation Swish qui renvoie x*sigmoid(x) . Il s'agit d'une fonction fluide et non monotone qui correspond ou surpasse systématiquement ReLU sur les réseaux profonds, elle est illimitée au-dessus et limitée en bas.

Exemple d'utilisation : 

     Operand<TFloat32> input = tf.constant(new float[]
                                        {-20, -1.0, 0.0, 1.0, 20});
     Swish<TFloat32> swish = new Swish<>(tf);
     Operand<TFloat32> result = swish.call(input);
     // result = [-4.1223075e-08f, -2.6894143e-01f,  0.0000000e+00f,
     //          7.3105860e-01f,  2.0000000e+01f ]

Voir également

Constructeurs Publics

Swish (Ops tf)
Crée une activation Swish, swish(x) = x * sigmoid(x) .

Méthodes publiques

Opérande <T>
appel (entrée opérande <T>)
Obtient l’opération de calcul pour l’activation.

Méthodes héritées

Constructeurs Publics

Swish public (Ops tf)

Crée une activation Swish, swish(x) = x * sigmoid(x) .

Fonction d'activation Swish qui renvoie x*sigmoid(x) . Il s'agit d'une fonction fluide et non monotone qui correspond ou surpasse systématiquement ReLU sur les réseaux profonds, elle est illimitée au-dessus et limitée en bas.

Paramètres
tf les opérations TensorFlow

Méthodes publiques

Appel d'opérande public <T> (entrée d'opérande <T>)

Obtient l’opération de calcul pour l’activation.

Paramètres
saisir le tenseur d'entrée
Retour
  • L'opérande d'activation