ResourceApplyRmsProp

classe finale publique ResourceApplyRmsProp

Mettez à jour '*var' selon l'algorithme RMSProp.

Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.

Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman

Classes imbriquées

classe ResourceApplyRmsProp.Options Attributs facultatifs pour ResourceApplyRmsProp

Constantes

Chaîne OP_NAME Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Méthodes publiques

statique <T étend TType > ResourceApplyRmsProp
créer ( Scope scope, Opérande <?> var, Opérande <?> ms, Opérande <?> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T> epsilon, Opérande <T > diplômé, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceApplyRmsProp.
ResourceApplyRmsProp.Options statique
useLocking (booléen useLocking)

Méthodes héritées

Constantes

chaîne finale statique publique OP_NAME

Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Valeur constante : "ResourceApplyRMSProp"

Méthodes publiques

public static ResourceApplyRmsProp create ( Scope scope, Operand <?> var, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T> epsilon, Opérande <T> diplôme, Options... options)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceApplyRmsProp.

Paramètres
portée portée actuelle
var Doit provenir d'une variable ().
MS Doit provenir d'une variable ().
maman Doit provenir d'une variable ().
g / D Facteur d'échelle. Ça doit être un scalaire.
rho Taux de décomposition. Ça doit être un scalaire.
épsilon Terme de crête. Ça doit être un scalaire.
diplômé Le dégradé.
choix porte des valeurs d'attributs facultatifs
Retour
  • une nouvelle instance de ResourceApplyRmsProp

public statique ResourceApplyRmsProp.Options useLocking (booléen useLocking)

Paramètres
utiliserVerrouillage Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits.