टेंसरफ़्लो:: ऑप्स:: SparseApplyRMSprop

#include <training_ops.h>

RMSProp एल्गोरिथम के अनुसार '*var' को अपडेट करें।

सारांश

ध्यान दें कि इस एल्गोरिथ्म के सघन कार्यान्वयन में, एमएस और मॉम अपडेट होंगे, भले ही ग्रेड शून्य हो, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम उन पुनरावृत्तियों में अपडेट नहीं होंगे, जिनके दौरान ग्रेड शून्य है।

माध्य_वर्ग = क्षय * माध्य_वर्ग + (1-क्षय) * ग्रेडिएंट ** 2 डेल्टा = सीखने की दर * ग्रेडिएंट / वर्ग(मीन_स्क्वायर + एप्सिलॉन)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

तर्क:

  • स्कोप: एक स्कोप ऑब्जेक्ट
  • var: एक वेरिएबल() से होना चाहिए।
  • एमएस: एक वेरिएबल() से होना चाहिए।
  • माँ: एक वेरिएबल() से होना चाहिए।
  • एलआर: स्केलिंग कारक। एक अदिश राशि होनी चाहिए.
  • आरएचओ: क्षय दर। एक अदिश राशि होनी चाहिए.
  • एप्सिलॉन: रिज शब्द। एक अदिश राशि होनी चाहिए.
  • ग्रेड: ग्रेडिएंट.
  • सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का एक वेक्टर।

वैकल्पिक विशेषताएँ (देखें Attrs ):

  • उपयोग_लॉकिंग: यदि True , तो संस्करण, एमएस और मॉम टेंसर का अद्यतनीकरण लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद प्रदर्शित कर सकता है।

रिटर्न:

  • Output : "var" के समान।

निर्माता और विध्वंसक

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

सार्वजनिक गुण

operation
out

सार्वजनिक समारोह

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएँ

टेंसरफ़्लो:: ऑप्स:: SparseApplyRMSProp:: Attrs

SparseApplyRMSProp के लिए वैकल्पिक विशेषता सेटर्स।

सार्वजनिक गुण

संचालन

Operation operation

बाहर

::tensorflow::Output out

सार्वजनिक समारोह

SparseApplyRMSprop

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSprop

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

नोड

::tensorflow::Node * node() const

ऑपरेटर::टेन्सरफ़्लो::इनपुट

 operator::tensorflow::Input() const

ऑपरेटर::टेन्सरफ़्लो::आउटपुट

 operator::tensorflow::Output() const

सार्वजनिक स्थैतिक कार्य

लॉकिंग का उपयोग करें

Attrs UseLocking(
  bool x
)