Wyrzucenie Alpha

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Warstwa odpadająca Alpha.

Porzucenie alfa to Dropout , które utrzymuje średnią i wariancję danych wejściowych na ich oryginalnych wartościach, aby zapewnić właściwość samonormalizacji nawet po tym porzuceniu. Alpha Dropout dobrze pasuje do skalowanych wykładniczych jednostek liniowych, losowo ustawiając aktywacje na ujemną wartość nasycenia.

Źródło: Samonormalizujące się sieci neuronowe: https://arxiv.org/abs/1706.02515

  • Deklaracja

    public typealias TangentVector = EmptyTangentVector

  • Deklaracja

    @noDerivative
public let probability: Double

  • Inicjuje warstwę AlphaDropout z konfigurowalnym probability .

    Warunek wstępny

    prawdopodobieństwo musi mieć wartość z zakresu od 0 do 1 (włącznie).

    Deklaracja

    public init(probability: Double)

    Parametry

    probability

    Prawdopodobieństwo wypadnięcia węzła.

  • Dodaje szum do input podczas uczenia i nie działa podczas wnioskowania.

    Deklaracja

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>