SELU

الوحدة الخطية الأسية المتدرجة (SELU).

يتم تعريف وظيفة تنشيط الوحدة الخطية الأسية المقاسة (SELU) على النحو التالي:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

حيث alpha scale ثوابت محددة مسبقًا ( alpha=1.67326324 و scale=1.05070098 ).

بشكل أساسي، تقوم وظيفة تنشيط SELU بضرب scale (> 1) بمخرجات وظيفة elu لضمان ميل أكبر من واحد للمدخلات الإيجابية.

يتم اختيار قيم alpha scale بحيث يتم الحفاظ على متوسط ​​وتباين المدخلات بين طبقتين متتاليتين طالما تمت تهيئة الأوزان بشكل صحيح (انظر LeCun مع التوزيع الطبيعي) وعدد وحدات الإدخال "كبير بما فيه الكفاية"

ملاحظات: لاستخدامها مع مُهيئ LeCun مع التوزيع العادي.