Questa pagina è stata tradotta dall'API Cloud Translation.
Switch to English

tensorflow :: ops :: SparseApplyCenteredRMSProp

#include <training_ops.h>

Aggiorna '* var' in base all'algoritmo RMSProp centrato.

Sommario

L'algoritmo RMSProp centrato utilizza una stima del secondo momento centrato (cioè la varianza) per la normalizzazione, al contrario del normale RMSProp, che utilizza il secondo momento (non centrato). Questo spesso aiuta con la formazione, ma è leggermente più costoso in termini di calcolo e memoria.

Si noti che nell'implementazione densa di questo algoritmo, mg, ms e mom si aggiorneranno anche se il grad è zero, ma in questa implementazione sparsa, mg, ms e mom non si aggiorneranno nelle iterazioni durante le quali il grad è zero.

mean_square = decay * mean_square + (1-decay) * gradiente ** 2 mean_grad = decay * mean_grad + (1-decay) * gradiente Delta = learning_rate * gradiente / sqrt (mean_square + epsilon - mean_grad ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

Argomenti:

  • scope: un oggetto Scope
  • var: dovrebbe provenire da una variabile ().
  • mg: dovrebbe provenire da una variabile ().
  • ms: dovrebbe provenire da una variabile ().
  • mamma: dovrebbe provenire da una variabile ().
  • lr: fattore di scala. Deve essere uno scalare.
  • rho: tasso di decadimento. Deve essere uno scalare.
  • epsilon: termine Ridge. Deve essere uno scalare.
  • grad: Il gradiente.
  • indici: un vettore di indici nella prima dimensione di var, ms e mom.

Attributi opzionali (vedi Attrs ):

  • use_locking: se True , l'aggiornamento dei tensori var, mg, ms e mom è protetto da un blocco; in caso contrario, il comportamento è indefinito, ma potrebbe presentare meno contese.

Ritorna:

Costruttori e distruttori

SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)

Attributi pubblici

operation
out

Funzioni pubbliche

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Funzioni statiche pubbliche

UseLocking (bool x)

Structs

tensorflow :: ops :: SparseApplyCenteredRMSProp :: Attrs

Setter attributi facoltativi per SparseApplyCenteredRMSProp .

Attributi pubblici

operazione

Operation operation

su

::tensorflow::Output out

Funzioni pubbliche

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyCenteredRMSProp

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

nodo

::tensorflow::Node * node() const 

operatore :: :: tensorflow ingresso

 operator::tensorflow::Input() const 

operatore :: :: tensorflow uscita

 operator::tensorflow::Output() const 

Funzioni statiche pubbliche

UseLocking

Attrs UseLocking(
  bool x
)