このページは Cloud Translation API によって翻訳されました。
Switch to English

tf.keras.activations.selu

TensorFlow 1つのバージョン GitHubの上のソースを表示

スケーリング指数リニアユニット(SELU)。

スケーリング指数リニアユニット(SELU)活性化関数は次のように定義されます。

  • if x > 0: return scale * x
  • if x < 0: return scale * alpha * (exp(x) - 1)

ここでalpha及びscale定数を事前に定義されている( alpha=1.67326324scale=1.05070098 )。

基本的に、SELU活性化関数乗算のscaleの出力を有する(> 1) tf.keras.activations.elu正の入力に対して1より大きい傾きを確実にする機能。

値はalpha及びscale入力の平均と分散が長い重みが正しく初期化されるように、2つの連続する層の間に保存されるように選択されている(参照tf.keras.initializers.LecunNormal "初期化子)が、入力ユニットの数であります十分な大きさ」(詳しくは、基準紙を参照してください)。

使用例:

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

x テンソルまたは変数のための活性化関数を計算します。

スケーリングされた指数部の活性化: scale * elu(x, alpha)

ノート:

参考文献: