tensorflow:: ops:: ApplyRMSProp

RMSProp एल्गोरिदम के अनुसार '*var' को अपडेट करें।

सारांश

ध्यान दें कि इस एल्गोरिदम के सघन कार्यान्वयन में, एमएस और मॉम तब भी अपडेट होंगे जब ग्रेडिएंट शून्य हो, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम उन पुनरावृत्तियों के दौरान अपडेट नहीं होंगे जिनमें ग्रेडिएंट शून्य होता है।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

तर्क:

• स्कोप: एक स्कोप ऑब्जेक्ट
• var: यह एक Variable() से होना चाहिए।
• एमएस: यह एक वेरिएबल() से होना चाहिए।
• माँ: यह एक वेरिएबल() से होना चाहिए।
• lr: स्केलिंग फैक्टर। यह एक स्केलर होना चाहिए।
• rho: क्षय दर। यह एक अदिश राशि होनी चाहिए।
• एप्सिलॉन: रिज टर्म। यह एक स्केलर होना चाहिए।
• ग्रेड: प्रवणता।

वैकल्पिक विशेषताएँ (देखें Attrs ):

• use_locking: यदि True , तो var, ms और mom टेंसरों का अद्यतन एक लॉक द्वारा सुरक्षित होता है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम टकराव प्रदर्शित कर सकता है।

प्रतिफल:

• Output : "var" के समान।

सार्वजनिक विशेषताएँ

Operation operation

::tensorflow::Output out

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)