टेंसरफ़्लो :: ऑप्स :: SparseApplyRMSProp

RMSProp एल्गोरिथम के अनुसार '* var' अपडेट करें।

सारांश

ध्यान दें कि इस एल्गोरिथ्म के घने कार्यान्वयन में, एमएस और मॉम भले ही ग्रेड शून्य है, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-क्षय) * gradient ** 2 Delta = Learning_rate * gradient / sqrt (माध्य_पसंद + एप्सिलॉन)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

तर्क:

• गुंजाइश: एक स्कोप ऑब्जेक्ट
• var: एक चर () से होना चाहिए।
• एमएस: एक चर () से होना चाहिए।
• माँ: एक चर () से होना चाहिए।
• lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
• rho: क्षय दर। एक स्केलर होना चाहिए।
• एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
• grad: ढाल।
• सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का वेक्टर।

वैकल्पिक विशेषताएँ ( Attrs देखें):

• use_locking: यदि True , तो var, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

• Output : "var" के समान।

सार्वजनिक विशेषताएँ

Operation operation

::tensorflow::Output out

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)