Merken Sie den Termin vor! Google I / O kehrt vom 18. bis 20. Mai zurück Registrieren Sie sich jetzt
Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Tensorflow :: ops :: ApplyCenteredRMSProp

#include <training_ops.h>

Aktualisieren Sie '* var' gemäß dem zentrierten RMSProp-Algorithmus.

Zusammenfassung

Der zentrierte RMSProp-Algorithmus verwendet eine Schätzung des zentrierten zweiten Moments (dh der Varianz) zur Normalisierung im Gegensatz zum regulären RMSProp, der das (nicht zentrierte) zweite Moment verwendet. Dies hilft oft beim Training, ist jedoch in Bezug auf Berechnung und Speicher etwas teurer.

Beachten Sie, dass bei einer dichten Implementierung dieses Algorithmus mg, ms und mom auch dann aktualisiert werden, wenn der Grad Null ist. Bei dieser spärlichen Implementierung werden mg, ms und mom jedoch nicht in Iterationen aktualisiert, bei denen der Grad Null ist.

mean_square = Zerfall * mean_square + (1-Zerfall) * Gradient ** 2 mean_grad = Zerfall * mean_grad + (1-Zerfall) * Gradient

Delta = Lernrate * Gradient / Quadratmeter (mean_square + epsilon - mean_grad ** 2)

mg <- Rho * mg_ {t-1} + (1-Rho) * Grad ms <- Rho * ms_ {t-1} + (1-Rho) * Grad * Grad Mutter <- Impuls * Mutter_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - mom

Argumente:

  • scope: Ein Scope- Objekt
  • var: Sollte von einer Variablen stammen ().
  • mg: Sollte von einer Variablen stammen ().
  • ms: Sollte von einer Variablen stammen ().
  • Mutter: Sollte von einer Variablen stammen ().
  • lr: Skalierungsfaktor. Muss ein Skalar sein.
  • Rho: Zerfallsrate. Muss ein Skalar sein.
  • epsilon: Ridge Begriff. Muss ein Skalar sein.
  • grad: Der Gradient.

Optionale Attribute (siehe Attrs ):

  • use_locking: Wenn True , wird die Aktualisierung der Tensoren var, mg, ms und mom durch eine Sperre geschützt. Andernfalls ist das Verhalten undefiniert, weist jedoch möglicherweise weniger Konflikte auf.

Kehrt zurück:

Konstruktoren und Destruktoren

ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyCenteredRMSProp::Attrs & attrs)

Öffentliche Attribute

operation
out

Öffentliche Funktionen

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Öffentliche statische Funktionen

UseLocking (bool x)

Strukturen

tensorflow :: ops :: ApplyCenteredRMSProp :: Attrs

Optionale Attributsetzer für ApplyCenteredRMSProp .

Öffentliche Attribute

Operation

Operation operation

aus

::tensorflow::Output out

Öffentliche Funktionen

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

Knoten

::tensorflow::Node * node() const 

operator :: tensorflow :: Input

 operator::tensorflow::Input() const 

operator :: tensorflow :: Output

 operator::tensorflow::Output() const 

Öffentliche statische Funktionen

UseLocking

Attrs UseLocking(
  bool x
)