Google I/O एक लपेट है! TensorFlow सत्रों पर पकड़ बनाएं सत्र देखें

टेंसरफ़्लो :: ऑप्स :: रिसोर्ससपर्सएप्लीकेटरेडआरएमएसप्रॉप

#include <training_ops.h>

केंद्रित RMSProp एल्गोरिथ्म के अनुसार '* var' अपडेट करें।

सारांश

केंद्रीकृत RMSProp एल्गोरिथ्म सामान्य RMSProp के विपरीत, जो कि दूसरे महीने का उपयोग करता है, नियमित RMSProp के विपरीत, सामान्यीकरण के लिए केंद्रित दूसरे पल (यानी, विचरण) के एक अनुमान का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के घने क्रियान्वयन में, mg, ms, और mom भले ही ग्रेड शून्य हो, लेकिन अपडेट होगा, लेकिन इस विरल कार्यान्वयन में mg, ms, और mom पुनरावृत्तियों में अपडेट नहीं करेंगे, जिसके दौरान ग्रेड शून्य है।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = Learning_rate * gradient / sqrt (माध्य_आदर्श + epsilon - mean_grad ** 2)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- गति * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- माँ

तर्क:

  • गुंजाइश: एक स्कोप ऑब्जेक्ट
  • var: एक चर () से होना चाहिए।
  • मिलीग्राम: एक चर () से होना चाहिए।
  • एमएस: एक चर () से होना चाहिए।
  • माँ: एक चर () से होना चाहिए।
  • lr: स्केलिंग फैक्टर। एक स्केलर होना चाहिए।
  • rho: क्षय दर। एक स्केलर होना चाहिए।
  • एप्सिलॉन: रिज टर्म। एक स्केलर होना चाहिए।
  • grad: ढाल।
  • सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का वेक्टर।

वैकल्पिक विशेषताएँ ( Attrs देखें):

  • use_locking: यदि True , तो var, mg, ms, और mom टेनसर्स का अद्यतन लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद को प्रदर्शित कर सकता है।

रिटर्न:

कंस्ट्रक्टर और डिस्ट्रक्टर्स

ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs)

सार्वजनिक विशेषताएँ

operation

सार्वजनिक कार्य

operator::tensorflow::Operation () const

सार्वजनिक स्थैतिक कार्य

UseLocking (bool x)

संरचनाएं

टेनसफ़्लो :: ऑप्स :: रिसोर्सस्पर्शीलीकेंटरेडआरएमएसप्रॉप :: एट्र्स

वैकल्पिक विशेषता ResourceSparseApplyCenteredRMSProp के लिए बसती है।

सार्वजनिक विशेषताएँ

ऑपरेशन

Operation operation

सार्वजनिक कार्य

रिसोर्ससपर्सलीलीकेंटरेडआरएमएसप्रॉप

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

रिसोर्ससपर्सएप्लीकेटरेडआरएमएसप्रॉप

 ResourceSparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyCenteredRMSProp::Attrs & attrs
)

ऑपरेटर :: टेंसरफ़्लो :: ऑपरेशन

 operator::tensorflow::Operation() const 

सार्वजनिक स्थैतिक कार्य

उपयोग करना

Attrs UseLocking(
  bool x
)