עזרה להגן על שונית המחסום הגדולה עם TensorFlow על Kaggle הצטרפו אתגר

זרימת טנסור :: אופ :: ResourceSparseApplyCenteredRMSProp

#include <training_ops.h>

עדכן את '* var' בהתאם לאלגוריתם RMSProp המרוכז.

סיכום

האלגוריתם המרוכז של RMSProp משתמש באומדן של הרגע השני המרוכז (כלומר, השונות) לנורמליזציה, בניגוד ל RMSProp הרגיל, המשתמש ברגע השני (ללא מרכז). זה עוזר לעתים קרובות באימונים, אך הוא מעט יקר יותר מבחינת חישוב וזיכרון.

שים לב כי ביישום צפוף של אלגוריתם זה, מ"ג, אלפיות, ואמא יתעדכנו גם אם הציון הוא אפס, אך ביישום דליל זה, מ"ג, אלפיות, ואמא לא יתעדכנו באיטרציות שבמהלכן השיעור הוא אפס.

ריבוע ממוצע = ריקבון * ריבוע ממוצע + (1-ריקבון) * שיפוע ** 2 ממוצע_דרג = ריקבון * ממוצע_דרג + (ריקבון אחד) * שיפוע דלתא = שיעור_למידה * שיפוע / sqrt (ממוצע_רבוע + אפסילון - ממוצע דרגה ** 2)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - mom

טענות:

  • היקף: אובייקט Scope
  • var: צריך להיות מתוך משתנה ().
  • מ"ג: צריך להיות משתנה ().
  • ms: צריך להיות מתוך משתנה ().
  • אמא: צריכה להיות משתנה ().
  • lr: גורם קנה מידה. חייב להיות סקלרי.
  • rho: שיעור דעיכה. חייב להיות סקלרי.
  • אפסילון: מונח רכס. חייב להיות סקלרי.
  • דרגה: השיפוע.
  • מדדים: וקטור של מדדים לממד הראשון של var, ms ו- mom.

מאפיינים אופציונליים (ראה Attrs ):

  • use_locking: אם True , עדכון של טנזורי ה- var, mg, ms ו- mom מוגן באמצעות נעילה; אחרת ההתנהגות אינה מוגדרת, אך עשויה להפגין פחות מחלוקת.

החזרות:

בונים והרסנים

ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs)

תכונות ציבוריות

operation

פונקציות ציבוריות

operator::tensorflow::Operation () const

פונקציות סטטיות ציבוריות

UseLocking (bool x)

סטרוקטורים

tensorflow :: ops :: ResourceSparseApplyCenteredRMSProp :: Attrs

קובעי תכונות אופציונליים עבור ResourceSparseApplyCenteredRMSProp .

תכונות ציבוריות

מבצע

Operation operation

פונקציות ציבוריות

ResourceSparseApplyCenteredRMSProp

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

ResourceSparseApplyCenteredRMSProp

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

מפעיל :: זרימת tensor :: פעולה

 operator::tensorflow::Operation() const 

פונקציות סטטיות ציבוריות

UseLocking

Attrs UseLocking(
  bool x
)