StopGradient

ग्रेडिएंट गणना रोक देता है.

जब ग्राफ़ में निष्पादित किया जाता है, तो यह ऑप अपने इनपुट टेंसर को उसी रूप में आउटपुट करता है।

ग्रेडिएंट्स की गणना करने के लिए ऑप्स बनाते समय, यह ऑप इसके इनपुट के योगदान को ध्यान में रखने से रोकता है। आम तौर पर, ग्रेडिएंट जनरेटर एक निर्दिष्ट 'नुकसान' के डेरिवेटिव की गणना करने के लिए ग्राफ में ऑप्स जोड़ता है, जो इसकी गणना में योगदान देने वाले इनपुट का पुनरावर्ती रूप से पता लगाता है। यदि आप इस ऑप को ग्राफ़ में सम्मिलित करते हैं तो इसका इनपुट ग्रेडिएंट जनरेटर से छिपा हुआ है। कंप्यूटिंग ग्रेडिएंट्स के लिए उन्हें ध्यान में नहीं रखा जाता है।

यह तब उपयोगी होता है जब आप TensorFlow के साथ किसी मान की गणना करना चाहते हैं, लेकिन यह दिखावा करना होगा कि मान स्थिर था। उदाहरण के लिए, वेक्टर x के लिए सॉफ्टमैक्स फ़ंक्शन को

def softmax(x):
     numerator = tf.exp(x)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

के रूप में लिखा जा सकता है, हालांकि यदि x में मान बड़े हैं तो यह अतिप्रवाह के लिए अतिसंवेदनशील है। एक वैकल्पिक अधिक स्थिर तरीका प्रत्येक मान से अधिकतम x घटाना है।

def stable_softmax(x):
     z = x - tf.reduce_max(x)
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

हालाँकि, जब हम सॉफ्टमैक्स से x तक बैकप्रॉप करते हैं, तो हम tf.reduce_max(x) (यदि अधिकतम मान अद्वितीय नहीं हैं तो ग्रेडिएंट गलत इनपुट पर प्रवाहित हो सकता है) गणना के माध्यम से बैकप्रॉप नहीं करना चाहते हैं और इसे इस प्रकार मानते हैं निरंतर। इसलिए, हमें इसे

def stable_softmax(x):
     z = x - tf.stop_gradient(tf.reduce_max(x))
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

के रूप में लिखना चाहिए। कुछ अन्य उदाहरणों में शामिल हैं:

• ईएम एल्गोरिदम जहां एम-स्टेप में ई-स्टेप के आउटपुट के माध्यम से बैकप्रोपेगेशन शामिल नहीं होना चाहिए।
• बोल्ट्ज़मैन मशीनों का विरोधाभासी विचलन प्रशिक्षण, जहां ऊर्जा फ़ंक्शन को अलग करते समय, प्रशिक्षण को उस ग्राफ़ के माध्यम से बैकप्रोपेगेट नहीं करना चाहिए जो मॉडल से नमूने उत्पन्न करता है।
• प्रतिकूल प्रशिक्षण, जहां प्रतिकूल उदाहरण निर्माण प्रक्रिया के माध्यम से कोई बैकप्रॉप नहीं होना चाहिए।