RMSProp एल्गोरिथम के अनुसार '*var' को अपडेट करें।
ध्यान दें कि इस एल्गोरिथ्म के सघन कार्यान्वयन में, एमएस और मॉम अपडेट होंगे, भले ही ग्रेड शून्य हो, लेकिन इस विरल कार्यान्वयन में, एमएस और मॉम उन पुनरावृत्तियों में अपडेट नहीं होंगे, जिनके दौरान ग्रेड शून्य है।
माध्य_वर्ग = क्षय * माध्य_वर्ग + (1-क्षय) * ग्रेडिएंट ** 2 डेल्टा = सीखने की दर * ग्रेडिएंट / वर्ग(मीन_स्क्वायर + एप्सिलॉन)
$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$
नेस्टेड क्लासेस
| कक्षा | SparseApplyRmsProp.विकल्प | SparseApplyRmsProp के लिए वैकल्पिक विशेषताएँ | |
स्थिरांक
| डोरी | OP_NAME | इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है |
सार्वजनिक तरीके
| आउटपुट <T> | आउटपुट के रूप में () टेंसर का प्रतीकात्मक हैंडल लौटाता है। |
| स्थिर <T टीटाइप का विस्तार करता है > SparseApplyRmsProp <T> | |
| आउटपुट <T> | बाहर () "var" के समान। |
| स्थिर SparseApplyRmsProp.Options | यूज़लॉकिंग (बूलियन यूज़लॉकिंग) |
विरासत में मिली विधियाँ
स्थिरांक
सार्वजनिक स्थैतिक अंतिम स्ट्रिंग OP_NAME
इस ऑप का नाम, जैसा कि TensorFlow कोर इंजन द्वारा जाना जाता है
सार्वजनिक तरीके
सार्वजनिक आउटपुट <T> asOutput ()
टेंसर का प्रतीकात्मक हैंडल लौटाता है।
TensorFlow संचालन के इनपुट किसी अन्य TensorFlow ऑपरेशन के आउटपुट हैं। इस पद्धति का उपयोग एक प्रतीकात्मक हैंडल प्राप्त करने के लिए किया जाता है जो इनपुट की गणना का प्रतिनिधित्व करता है।
सार्वजनिक स्थैतिक SparseApplyRmsProp <T> बनाएं ( स्कोप स्कोप, ऑपरेंड <T> var, ऑपरेंड <T> एमएस, ऑपरेंड <T> माँ, ऑपरेंड <T> lr, ऑपरेंड <T> rho, ऑपरेंड <T> गति, ऑपरेंड <T > एप्सिलॉन, ऑपरेंड <टी> ग्रेड, ऑपरेंड <? एक्सटेंड्स टीएनंबर > सूचकांक, विकल्प... विकल्प)
एक नए SparseApplyRmsProp ऑपरेशन को लपेटकर एक क्लास बनाने की फ़ैक्टरी विधि।
पैरामीटर
| दायरा | वर्तमान दायरा |
|---|---|
| वर | एक वेरिएबल() से होना चाहिए। |
| एमएस | एक वेरिएबल() से होना चाहिए। |
| माँ | एक वेरिएबल() से होना चाहिए। |
| एलआर | मापन कारक। एक अदिश राशि होनी चाहिए. |
| रो | क्षय दर। एक अदिश राशि होनी चाहिए. |
| एप्सिलॉन | रिज शब्द. एक अदिश राशि होनी चाहिए. |
| ग्रैड | ढाल. |
| सूचकांक | var, ms और mom के पहले आयाम में सूचकांकों का एक वेक्टर। |
| विकल्प | वैकल्पिक गुण मान रखता है |
रिटर्न
- SparseApplyRmsProp का एक नया उदाहरण
सार्वजनिक स्थैतिक SparseApplyRmsProp.Options यूज़लॉकिंग (बूलियन यूज़लॉकिंग)
पैरामीटर
| लॉकिंग का उपयोग करें | यदि `सही` है, तो संस्करण, एमएस और मॉम टेंसर का अद्यतन एक लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद प्रदर्शित कर सकता है। |
|---|