tensorflow:: ops:: ResourceApplyCenteredRMSProp

#include <training_ops.h>

सेंटर्ड RMSProp एल्गोरिदम के अनुसार '*var' को अपडेट करें।

सारांश

सेंटर्ड RMSProp एल्गोरिदम सामान्यीकरण के लिए सेंटर्ड सेकंड मोमेंट (यानी, विचरण) के अनुमान का उपयोग करता है, जबकि नियमित RMSProp (अनसेंटर्ड) सेकंड मोमेंट का उपयोग करता है। यह अक्सर प्रशिक्षण में सहायक होता है, लेकिन गणना और मेमोरी के मामले में थोड़ा अधिक खर्चीला होता है।

ध्यान दें कि इस एल्गोरिदम के सघन कार्यान्वयन में, mg, ms और mom तब भी अपडेट होंगे जब grad शून्य हो, लेकिन इस विरल कार्यान्वयन में, mg, ms और mom उन पुनरावृत्तियों के दौरान अपडेट नहीं होंगे जिनमें grad शून्य है।

औसत वर्ग = क्षय * औसत वर्ग + (1-क्षय) * प्रवणता ** 2 औसत प्रवणता = क्षय * औसत प्रवणता + (1-क्षय) * प्रवणता

डेल्टा = लर्निंग_रेट * ग्रेडिएंट / वर्गमूल(मीन_स्क्वायर + एप्सिलॉन - मीन_ग्रेडिएंट ** 2)

mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom

तर्क:

  • स्कोप: एक स्कोप ऑब्जेक्ट
  • var: यह एक Variable() से होना चाहिए।
  • mg: यह एक वेरिएबल() से होना चाहिए।
  • एमएस: यह एक वेरिएबल() से होना चाहिए।
  • माँ: यह एक वेरिएबल() से होना चाहिए।
  • lr: स्केलिंग फैक्टर। यह एक स्केलर होना चाहिए।
  • rho: क्षय दर। यह एक अदिश राशि होनी चाहिए।
  • एप्सिलॉन: रिज टर्म। यह एक स्केलर होना चाहिए।
  • ग्रेड: प्रवणता।

वैकल्पिक विशेषताएँ (देखें Attrs ):

  • use_locking: यदि True , तो var, mg, ms और mom टेंसरों का अद्यतन एक लॉक द्वारा सुरक्षित होता है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम टकराव प्रदर्शित कर सकता है।

प्रतिफल:

कंस्ट्रक्टर और डिस्ट्रक्टर

ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation

सार्वजनिक समारोह

operator::tensorflow::Operation () const

सार्वजनिक स्थैतिक फ़ंक्शन

UseLocking (bool x)

संरचनाएँ

टेन्सरफ्लो::ऑप्स::रिसोर्सअप्लाईसेंटर्डआरएमएसपीप्रॉप::एट्रिब्यूट्स

ResourceApplyCenteredRMSProp के लिए वैकल्पिक विशेषता निर्धारक।

सार्वजनिक विशेषताएँ

संचालन 

Operation operation

सार्वजनिक समारोह

संसाधन आवेदन केंद्रित आरएमएसप्रॉप 

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

संसाधन आवेदन केंद्रित आरएमएसप्रॉप 

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

ऑपरेटर::टेन्सरफ्लो::ऑपरेशन 

 operator::tensorflow::Operation() const

सार्वजनिक स्थैतिक फ़ंक्शन

यूज़लॉकिंग 

Attrs UseLocking(
  bool x
)