SELU

スケーリングされた指数線形単位 (SELU)。

Scaled Exponential Linear Unit (SELU) アクティベーション関数は次のように定義されます。

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

ここで、 alphaとscale事前定義された定数です ( alpha=1.67326324およびscale=1.05070098 )。

基本的に、SELU アクティベーション関数は、 scale (> 1) と elu 関数の出力を乗算して、正の入力の場合に 1 よりも大きな傾きを確保します。

alphaとscaleの値は、重みが正しく初期化され (正規分布によるLeCunを参照)、入力単位の数が「十分に大きい」限り、入力の平均と分散が 2 つの連続する層間で保持されるように選択されます。

注:正規分布を使用するLeCunイニシャライザと一緒に使用します。