tensorflow:: ops:: SparseApplyRMSProp

#include <training_ops.h>

RMSProp एल्गोरिदम के अनुसार '*var' को अपडेट करें।

सारांश

ध्यान दें कि इस एल्गोरिदम के सघन कार्यान्वयन में, एमएस और मॉम तब भी अपडेट होंगे जब ग्रेडिएंट शून्य हो, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम उन पुनरावृत्तियों के दौरान अपडेट नहीं होंगे जिनमें ग्रेडिएंट शून्य होता है।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

तर्क:

  • स्कोप: एक स्कोप ऑब्जेक्ट
  • var: यह एक Variable() से होना चाहिए।
  • एमएस: यह एक वेरिएबल() से होना चाहिए।
  • माँ: यह एक वेरिएबल() से होना चाहिए।
  • lr: स्केलिंग फैक्टर। यह एक स्केलर होना चाहिए।
  • rho: क्षय दर। यह एक अदिश राशि होनी चाहिए।
  • एप्सिलॉन: रिज टर्म। यह एक स्केलर होना चाहिए।
  • ग्रेड: प्रवणता।
  • indices: var, ms और mom के पहले आयाम में सूचकांकों का एक वेक्टर।

वैकल्पिक विशेषताएँ (देखें Attrs ):

  • use_locking: यदि True , तो var, ms और mom टेंसरों का अद्यतन एक लॉक द्वारा सुरक्षित होता है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम टकराव प्रदर्शित कर सकता है।

प्रतिफल:

  • Output : "var" के समान।

कंस्ट्रक्टर और डिस्ट्रक्टर

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation
out

सार्वजनिक समारोह

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक फ़ंक्शन

UseLocking (bool x)

संरचनाएँ

टेन्सरफ्लो::ऑप्स::स्पार्सअप्लाईआरएमएसपीप्रॉप::एट्रिब्यूट्स

SparseApplyRMSProp के लिए वैकल्पिक विशेषता निर्धारक।

सार्वजनिक विशेषताएँ

संचालन 

Operation operation

बाहर 

::tensorflow::Output out

सार्वजनिक समारोह

स्पार्सअप्लाईआरएमएसपीरोप 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

स्पार्सअप्लाईआरएमएसपीरोप 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

नोड 

::tensorflow::Node * node() const

ऑपरेटर::टेन्सरफ्लो::इनपुट 

 operator::tensorflow::Input() const

ऑपरेटर::टेन्सरफ्लो::आउटपुट 

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक फ़ंक्शन

यूज़लॉकिंग 

Attrs UseLocking(
  bool x
)