tensorflow :: ops :: ResourceSparseApplyCenteredRMSProp

"* var" را با توجه به الگوریتم RMSProp متمرکز به روز کنید.

خلاصه

الگوریتم RMSProp در مرکز از برآورد گشتاور دوم در مرکز (یعنی واریانس) برای نرمال سازی استفاده می کند ، در مقابل RMSProp معمولی که از لحظه دوم (بدون مرکز) استفاده می کند. این اغلب به آموزش کمک می کند ، اما از نظر محاسبه و حافظه کمی گران تر است.

توجه داشته باشید که در پیاده سازی متراکم این الگوریتم ، میلی گرم ، میلی ثانیه و مادر حتی اگر گراد صفر باشد نیز به روز می شوند ، اما در این اجرای کم ، میلی گرم ، میلی ثانیه و مادر با تکرارهایی که درجه گراد صفر است ، به روز نمی شوند.

مربع_معمول = پوسیدگی * مربع_میانه + (1-پوسیدگی) * گرادیان ** 2 میانگین_گراد = پوسیدگی * میانگین_گراد + (1-پوسیدگی) * گرادیان دلتا = درجه_ یادگیری * گرادیان / مربع (مربع + متوسط ​​+ اپسیلون - گرید متوسط ​​** 2)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - mom

استدلال ها:

• دامنه: یک شی Sc Scope
• var: باید از یک متغیر () باشد.
• mg: باید از یک متغیر باشد ().
• ms: باید از یک متغیر () باشد.
• mom: باید از یک متغیر باشد ().
• lr: عامل مقیاس گذاری. باید اسکالر باشد.
• rho: میزان پوسیدگی. باید اسکالر باشد.
• epsilon: اصطلاح ریج. باید اسکالر باشد.
• grad: شیب.
• شاخص ها: برداري از شاخص ها در بعد اول var ، ms و mom.

ویژگی های اختیاری (به Attrs مراجعه کنید):

• use_locking: اگر True ، به روزرسانی سنسورهای var ، mg ، ms و mom توسط قفل محافظت می شود. در غیر این صورت رفتار تعریف نشده است ، اما ممکن است مشاجره کمتری از خود نشان دهد.

بازده:

• Operation ایجاد شده

صفات عمومی

Operation operation

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

 operator::tensorflow::Operation() const 

Attrs UseLocking(
  bool x
)