tensorflow:: عملیات:: ResourceSparseApplyCenteredRMSProp

#include <training_ops.h>

'*var' را طبق الگوریتم RMSProp مرکزی به‌روزرسانی کن.

خلاصه

الگوریتم RMSProp مرکزی از تخمینی از گشتاور دوم مرکزی (یعنی واریانس) برای نرمال‌سازی استفاده می‌کند، برخلاف RMSProp معمولی که از گشتاور دوم (غیرمرکزی) استفاده می‌کند. این اغلب به آموزش کمک می‌کند، اما از نظر محاسبه و حافظه کمی گران‌تر است.

توجه داشته باشید که در پیاده‌سازی متراکم این الگوریتم، mg، ms و mom حتی اگر grad صفر باشد، به‌روزرسانی می‌شوند، اما در این پیاده‌سازی پراکنده، mg، ms و mom در تکرارهایی که grad صفر است، به‌روزرسانی نمی‌شوند.

میانگین مربعات = واپاشی * میانگین مربعات + (1-واپاشی) * گرادیان ** 2 میانگین گرادیان = واپاشی * میانگین گرادیان + (1-واپاشی) * گرادیان دلتا = نرخ یادگیری * گرادیان / sqrt(میانگین مربعات + اپسیلون - میانگین گرادیان ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- مومنتوم * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

استدلال‌ها:

  • دامنه: یک شیء دامنه
  • var: باید از یک متغیر () باشد.
  • mg: باید از یک متغیر () باشد.
  • ms: باید از یک متغیر () باشد.
  • mom: باید از یک Variable() باشد.
  • lr: ضریب مقیاس‌بندی. باید یک اسکالر باشد.
  • rho: نرخ واپاشی. باید یک اسکالر باشد.
  • اپسیلون: جمله ریج. باید یک اسکالر باشد.
  • گرادیان: شیب.
  • شاخص‌ها: برداری از شاخص‌ها در بعد اول var، ms و mom.

ویژگی‌های اختیاری (به Attrs مراجعه کنید):

  • use_locking: اگر True ، به‌روزرسانی تانسورهای var، mg، ms و mom توسط یک قفل محافظت می‌شود؛ در غیر این صورت رفتار تعریف نشده است، اما ممکن است رقابت کمتری را نشان دهد.

بازده:

سازنده‌ها و مخرب‌ها

ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs)

ویژگی‌های عمومی

operation

کارکردهای عمومی

operator::tensorflow::Operation () const

توابع استاتیک عمومی

UseLocking (bool x)

ساختارها

tensorflow::ops::ResourceSparseApplyCenteredRMSProp::Attrs

تنظیم‌کننده‌های ویژگی اختیاری برای ResourceSparseApplyCenteredRMSProp .

ویژگی‌های عمومی

عملیات 

Operation operation

کارکردهای عمومی

ResourceSparseApplyCenteredRMSProp 

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

ResourceSparseApplyCenteredRMSProp 

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

عملگر::tensorflow::عملیات 

 operator::tensorflow::Operation() const

توابع استاتیک عمومی

استفاده از قفل 

Attrs UseLocking(
  bool x
)