АльфаDropout

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Выпадающий слой Альфа.

Alpha Dropout — это Dropout , который сохраняет среднее значение и дисперсию входных данных в исходных значениях, чтобы обеспечить свойство самонормализации даже после этого исключения. Alpha Dropout хорошо подходит для масштабированных экспоненциальных линейных единиц, случайным образом устанавливая для активации отрицательное значение насыщения.

Источник: Самонормализующиеся нейронные сети: https://arxiv.org/abs/1706.02515 .

  • Декларация

    public typealias TangentVector = EmptyTangentVector

  • Декларация

    @noDerivative
public let probability: Double

  • Инициализирует слой AlphaDropout с настраиваемой probability .

    Предварительное условие

    вероятность должна быть значением от 0 до 1 (включительно).

    Декларация

    public init(probability: Double)

    Параметры

    probability

    Вероятность выпадения узла.

  • Добавляет шум к input во время обучения и не работает во время вывода.

    Декларация

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>