tensorflow::ops::ResourceSparseApplyRMSProp
#include <training_ops.h>Mettre à jour '*var' selon l'algorithme RMSProp.
Résumé
Notez que dans l'implémentation dense de cet algorithme, ms et mom seront mis à jour même si le gradient est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour lors des itérations pendant lesquelles le gradient est nul.
moyenne_carrée = décroissance * moyenne_carrée + (1-décroissance) * gradient ** 2 Delta = taux_apprentissage * gradient / sqrt(moyenne_carrée + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
Arguments :
- portée : un objet Scope
- var : Doit provenir d'une Variable().
- ms : Devrait provenir d’une variable().
- maman : Devrait provenir d'une variable().
- lr : Facteur d’échelle. Doit être un scalaire.
- rho : Taux de décroissance. Doit être un scalaire.
- epsilon : Terme de crête. Doit être un scalaire.
- grad : Le gradient.
- indices : Un vecteur d'indices dans la première dimension de var, ms et mom.
Attributs optionnels (voir Attrs ) :
- use_locking : Si
True, la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement est indéfini, mais peut présenter moins de contention.
Retours :
- l'
Operationcréée
Constructeurs et destructeurs | |
|---|---|
ResourceSparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices) | |
ResourceSparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyRMSProp::Attrs & attrs) |
attributs publics | |
|---|---|
operation | |
fonctions publiques | |
|---|---|
operator::tensorflow::Operation () const | |
fonctions statiques publiques | |
|---|---|
UseLocking (bool x) | |
Structures | |
|---|---|
| tensorflow::ops::ResourceSparseApplyRMSProp::Attrs | Définiteurs d'attributs optionnels pour ResourceSparseApplyRMSProp . |
attributs publics
opération
Operation operation
fonctions publiques
ResourceSparseApplyRMSProp
ResourceSparseApplyRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices )
ResourceSparseApplyRMSProp
ResourceSparseApplyRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices, const ResourceSparseApplyRMSProp::Attrs & attrs )
opérateur::tensorflow::Opération
operator::tensorflow::Operation() const
fonctions statiques publiques
Utiliser le verrouillage
Attrs UseLocking( bool x )