SELU

स्केल्ड एक्सपोनेंशियल लीनियर यूनिट (SELU)।

स्केल्ड एक्सपोनेंशियल लीनियर यूनिट (SELU) सक्रियण फ़ंक्शन को इस प्रकार परिभाषित किया गया है:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

जहां alpha और scale पूर्व-परिभाषित स्थिरांक हैं ( alpha=1.67326324 और scale=1.05070098 )।

मूल रूप से, SELU सक्रियण फ़ंक्शन सकारात्मक इनपुट के लिए एक से बड़ा ढलान सुनिश्चित करने के लिए elu फ़ंक्शन के आउटपुट के साथ scale (> 1) को गुणा करता है।

alpha और scale के मानों को चुना जाता है ताकि इनपुट का माध्य और विचरण दो लगातार परतों के बीच संरक्षित रहे जब तक कि वजन सही ढंग से आरंभ नहीं किया जाता है (सामान्य वितरण के साथ LeCun देखें) और इनपुट इकाइयों की संख्या "काफी बड़ी" है

टिप्पणियाँ: सामान्य वितरण के साथ LeCun इनिशियलाइज़र के साथ उपयोग किया जाना है।