از اینکه با Google I/O تنظیم کردید متشکریم. مشاهده همه جلسات در صورت تقاضا تماشا کنید

tensorflow :: ops :: ApplyCenteredRMSProp

#include <training_ops.h>

"* var" را با توجه به الگوریتم RMSProp در مرکز به روز کنید.

خلاصه

الگوریتم RMSProp متمرکز از برآورد گشتاور دوم متمرکز (یعنی واریانس) برای نرمال سازی استفاده می کند ، در مقابل RMSProp معمولی که از لحظه دوم (بدون مرکز) استفاده می کند. این اغلب به آموزش کمک می کند ، اما از نظر محاسبه و حافظه کمی گران تر است.

توجه داشته باشید که در پیاده سازی متراکم این الگوریتم ، میلی گرم ، میلی ثانیه و مادر حتی اگر گراد صفر باشد نیز به روز می شوند ، اما در این اجرای کم ، میلی گرم ، میلی ثانیه و مادر با تکرارهایی که درجه گراد صفر است ، به روز نمی شوند.

مربع_مقدار = پوسیدگی * مربع_مایه + (1-پوسیدگی) * گرادیان ** 2 میانگین_گراد = پوسیدگی * میانگین_گراد + (1-پوسیدگی) * شیب

دلتا = درجه_ یادگیری * گرادیان / sqrt (مربع متوسط ​​+ epsilon - درجه_ متوسط ​​** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + (1 rho) * grad * grad mom <- momentum * mom_ {t-1 } + lr * grad / sqrt (میلی ثانیه - میلی گرم * میلی گرم + اپسیلون) var <- var - مادر

استدلال ها:

  • دامنه: یک شی Sc Scope
  • var: باید از یک متغیر () باشد.
  • mg: باید از یک متغیر باشد ().
  • ms: باید از یک متغیر () باشد.
  • mom: باید از یک متغیر باشد ().
  • lr: عامل مقیاس گذاری. باید اسکالر باشد.
  • rho: میزان پوسیدگی. باید اسکالر باشد.
  • epsilon: اصطلاح ریج. باید اسکالر باشد.
  • grad: شیب.

ویژگی های اختیاری (به Attrs مراجعه کنید):

  • use_locking: اگر True ، به روزرسانی سنسورهای var ، mg ، ms و mom توسط قفل محافظت می شود. در غیر این صورت رفتار تعریف نشده است ، اما ممکن است مشاجره کمتری از خود نشان دهد.

بازده:

  • Output : همان "var" است.

سازندگان و ویرانگران

ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyCenteredRMSProp::Attrs & attrs)

صفات عمومی

operation
out

کارکردهای عمومی

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

توابع استاتیک عمومی

UseLocking (bool x)

سازه ها

tensorflow :: ops :: ApplyCenteredRMSProp :: Attrs

تنظیم کننده های ویژگی اختیاری برای ApplyCenteredRMSProp .

صفات عمومی

عمل

Operation operation

بیرون

::tensorflow::Output out

کارکردهای عمومی

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ApplyCenteredRMSProp

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

گره

::tensorflow::Node * node() const

عملگر :: tensorflow :: ورودی

 operator::tensorflow::Input() const

عملگر :: tensorflow :: خروجی

 operator::tensorflow::Output() const

توابع استاتیک عمومی

استفاده از قفل کردن

Attrs UseLocking(
  bool x
)