AlphaDécrochage

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Une couche de suppression Alpha.

Alpha Dropout est un Dropout qui maintient la moyenne et la variance des entrées à leurs valeurs d'origine, afin de garantir la propriété d'auto-normalisation même après cet abandon. Alpha Dropout s'adapte bien aux unités linéaires exponentielles mises à l'échelle en définissant de manière aléatoire les activations sur la valeur de saturation négative.

Source : Réseaux de neurones auto-normalisés : https://arxiv.org/abs/1706.02515

  • Déclaration

    public typealias TangentVector = EmptyTangentVector

  • Déclaration

    @noDerivative
public let probability: Double

  • Initialise une couche AlphaDropout avec une probability configurable.

    Condition préalable

    la probabilité doit être une valeur comprise entre 0 et 1 (inclus).

    Déclaration

    public init(probability: Double)

    Paramètres

    probability

    La probabilité qu'un nœud abandonne.

  • Ajoute du bruit à input pendant l'entraînement et ne fonctionne pas pendant l'inférence.

    Déclaration

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>