StopGradient

bookmark_border Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Arrête le calcul du gradient.

Lorsqu'elle est exécutée dans un graphique, cette opération génère son tenseur d'entrée tel quel.

Lors de la construction d'opérations pour calculer des gradients, cette opération empêche la prise en compte de la contribution de ses entrées. Normalement, le générateur de gradient ajoute des opérations à un graphique pour calculer les dérivées d'une « perte » spécifiée en recherchant de manière récursive les entrées qui ont contribué à son calcul. Si vous insérez cette opération dans le graphique, ses entrées sont masquées par le générateur de dégradé. Ils ne sont pas pris en compte pour le calcul des gradients.

Ceci est utile chaque fois que vous souhaitez calculer une valeur avec TensorFlow mais que vous devez prétendre que la valeur était une constante. Par exemple, la fonction softmax pour un vecteur x peut s'écrire

def softmax(x):
     numerator = tf.exp(x)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

def stable_softmax(x):
     z = x - tf.reduce_max(x)
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

def stable_softmax(x):
     z = x - tf.stop_gradient(tf.reduce_max(x))
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

• L'algorithme EM où l' étape M ne devrait pas impliquer de rétropropagation via la sortie de l' étape E.
• Entraînement à divergence contrastée des machines Boltzmann où, lors de la différenciation de la fonction énergétique, l'entraînement ne doit pas se propager à travers le graphique qui a généré les échantillons à partir du modèle.
• Formation contradictoire, où aucun retour en arrière ne devrait se produire via le processus de génération d'exemples contradictoires.