tensorflow:: ops:: ApplyRMSProp

עדכון '*var' בהתאם לאלגוריתם RMSProp.

תַקצִיר

Note that in dense implementation of this algorithm, ms and mom will update even if the grad is zero, but in this sparse implementation, ms and mom will not update in iterations during which the grad is zero.

ממוצע_ריבועי = דעיכה * ממוצע_ריבועי + (דעיכה של 1) * גרדיאנט ** 2 דלתא = קצב_למידה * גרדיאנט / sqrt(ממוצע_ריבועי + אפסילון)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- מומנטום * mom_{t-1} + lr * grad / sqrt(ms + אפסילון) var <- var - mom

טיעונים:

• היקף: אובייקט היקף
• var: צריך להיות מתוך Variable().
• ms: צריך להיות מ-Variable().
• אמא: אמור להיות מ-Variable().
• lr: גורם קנה מידה. חייב להיות סקלרי.
• rho: קצב דעיכה. חייב להיות סקלרי.
• אפסילון: איבר רכס. חייב להיות סקלרי.
• גראד: הגרדיאנט.

מאפיינים אופציונליים (ראה Attrs ):

• use_locking: אם True , עדכון הטנזורים var, ms ו-mom מוגן על ידי נעילה; אחרת ההתנהגות אינה מוגדרת, אך עשויה להפגין פחות תחרות.

החזרות:

• Output : זהה ל-"var".

מאפיינים ציבוריים

Operation operation

::tensorflow::Output out

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)