StopGradient

ढाल गणना रोकता है।

जब एक ग्राफ में निष्पादित किया जाता है, तो यह ऑप अपने इनपुट टेंसर को इस रूप में आउटपुट करता है।

ग्रेडिएंट की गणना करने के लिए ऑप्स का निर्माण करते समय, यह ऑप इसके इनपुट के योगदान को ध्यान में रखने से रोकता है। आम तौर पर, ग्रेडिएंट जनरेटर एक निर्दिष्ट 'नुकसान' के डेरिवेटिव की गणना करने के लिए एक ग्राफ में ऑप्स जोड़ता है, जो इसकी गणना में योगदान करने वाले इनपुट का पुनरावर्ती रूप से पता लगाता है। यदि आप इस ऑप को ग्राफ़ में सम्मिलित करते हैं तो यह इनपुट ग्रेडिएंट जनरेटर से मास्क किया जाता है। ग्रेडिएंट्स की गणना के लिए उन्हें ध्यान में नहीं रखा जाता है।

यह किसी भी समय उपयोगी होता है जब आप TensorFlow के साथ किसी मान की गणना करना चाहते हैं, लेकिन यह दिखावा करने की आवश्यकता है कि मान स्थिर था। उदाहरण के लिए, वेक्टर x के लिए सॉफ्टमैक्स फ़ंक्शन को

def softmax(x):
     numerator = tf.exp(x)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

रूप में लिखा जा सकता है, हालांकि यह अतिप्रवाह के लिए अतिसंवेदनशील है यदि x में मान बड़े हैं। एक वैकल्पिक अधिक स्थिर तरीका प्रत्येक मान से अधिकतम x घटाना है।

def stable_softmax(x):
     z = x - tf.reduce_max(x)
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

हालांकि, जब हम सॉफ्टमैक्स के माध्यम से x तक बैकप्रॉप करते हैं, तो हम tf.reduce_max(x) के माध्यम से बैकप्रॉप नहीं करना चाहते हैं (यदि अधिकतम मान अद्वितीय नहीं हैं तो ग्रेडिएंट गलत इनपुट पर प्रवाहित हो सकता है) गणना और इसे इस रूप में मानते हैं निरंतर। इसलिए, हमें इसे

def stable_softmax(x):
     z = x - tf.stop_gradient(tf.reduce_max(x))
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

के रूप में लिखना चाहिए। कुछ अन्य उदाहरणों में शामिल हैं:

• ईएम एल्गोरिथ्म जहां एम-स्टेप में ई-स्टेप के आउटपुट के माध्यम से बैकप्रोपेगेशन शामिल नहीं होना चाहिए।
• बोल्ट्जमैन मशीनों का विरोधाभासी विचलन प्रशिक्षण, जहां ऊर्जा कार्य में अंतर करते समय, प्रशिक्षण को उस ग्राफ के माध्यम से पीछे नहीं हटना चाहिए जो मॉडल से नमूने उत्पन्न करता है।
• प्रतिकूल प्रशिक्षण, जहां प्रतिकूल उदाहरण पीढ़ी प्रक्रिया के माध्यम से कोई बैकप्रॉप नहीं होना चाहिए।