SELU

יחידה לינארית מעריכית בקנה מידה (SELU).

פונקציית ההפעלה של יחידה לינארית מעריכית (SELU) מוגדרת כ:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

כאשר alpha וקנה scale הם קבועים מוגדרים מראש ( alpha=1.67326324 וקנה scale=1.05070098 ).

בעיקרון, פונקציית ההפעלה של SELU מכפילה scale (> 1) עם הפלט של פונקציית ה-elu כדי להבטיח שיפוע גדול מאחד עבור כניסות חיוביות.

הערכים של alpha וקנה scale נבחרים כך שהממוצע והשונות של התשומות יישמרו בין שתי שכבות עוקבות כל עוד המשקולות מאותחלות בצורה נכונה (ראה LeCun עם התפלגות נורמלית) ומספר יחידות הקלט "גדול מספיק"

הערות: לשימוש יחד עם אתחול LeCun עם חלוקה רגילה.