SparseApplyRmsProp

classe finale publique SparseApplyRmsProp

Mettez à jour '*var' selon l'algorithme RMSProp.

Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.

Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

Classes imbriquées

classe SparseApplyRmsProp.Options Attributs facultatifs pour SparseApplyRmsProp

Constantes

Chaîne OP_NAME Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Méthodes publiques

Sortie <T>
comme Sortie ()
Renvoie le handle symbolique du tenseur.
statique <T étend TType > SparseApplyRmsProp <T>
créer ( Scope scope, Opérande <T> var, Opérande <T> ms, Opérande <T> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T> epsilon, Opérande <T > grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération SparseApplyRmsProp.
Sortie <T>
dehors ()
Identique à "var".
SparseApplyRmsProp.Options statique
useLocking (booléen useLocking)

Méthodes héritées

Constantes

chaîne finale statique publique OP_NAME

Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Valeur constante : "SparseApplyRMSProp"

Méthodes publiques

sortie publique <T> asOutput ()

Renvoie le handle symbolique du tenseur.

Les entrées des opérations TensorFlow sont les sorties d'une autre opération TensorFlow. Cette méthode est utilisée pour obtenir un handle symbolique qui représente le calcul de l’entrée.

public static SparseApplyRmsProp <T> create ( Scope scope, Operand <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Opérande <T> grad, Opérande <? extends TNumber > indices, Options... options)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération SparseApplyRmsProp.

Paramètres
portée portée actuelle
var Doit provenir d'une variable ().
MS Doit provenir d'une variable ().
maman Doit provenir d'une variable ().
g / D Facteur d'échelle. Ça doit être un scalaire.
rho Taux de décomposition. Ça doit être un scalaire.
épsilon Terme de crête. Ça doit être un scalaire.
diplômé Le dégradé.
indices Un vecteur d'indices dans la première dimension de var, ms et mom.
choix porte des valeurs d'attributs facultatifs
Retour
  • une nouvelle instance de SparseApplyRmsProp

sortie publique <T> out ()

Identique à "var".

public statique SparseApplyRmsProp.Options useLocking (booléen useLocking)

Paramètres
utiliserVerrouillage Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits.