SELU

Масштабированная экспоненциальная линейная единица (SELU).

Функция активации масштабированной экспоненциальной линейной единицы (SELU) определяется как:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

где alpha и scale — предварительно определенные константы ( alpha=1.67326324 и scale=1.05070098 ).

По сути, функция активации SELU умножает scale (> 1) на выходной сигнал функции elu, чтобы обеспечить крутизну, превышающую единицу, для положительных входных сигналов.

Значения alpha и scale выбираются таким образом, чтобы среднее значение и дисперсия входных данных сохранялись между двумя последовательными слоями, пока веса инициализируются правильно (см. LeCun с нормальным распределением) и количество входных единиц «достаточно велико».

Примечания: Используется вместе с инициализатором LeCun с нормальным распределением.