AlphaDropout

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Uno strato di dropout Alpha.

Alpha Dropout è un Dropout che mantiene la media e la varianza degli input ai loro valori originali, al fine di garantire la proprietà autonormalizzante anche dopo questo dropout. Alpha Dropout si adatta bene alle unità lineari esponenziali scalate impostando casualmente le attivazioni sul valore di saturazione negativo.

Fonte: Reti neurali autonormalizzanti: https://arxiv.org/abs/1706.02515

  • Dichiarazione

    public typealias TangentVector = EmptyTangentVector

  • Dichiarazione

    @noDerivative
public let probability: Double

  • Inizializza un livello AlphaDropout con una probability configurabile.

    Precondizione

    la probabilità deve essere un valore compreso tra 0 e 1 (incluso).

    Dichiarazione

    public init(probability: Double)

    Parametri

    probability

    La probabilità che un nodo cada.

  • Aggiunge rumore input durante l'addestramento e non è operativo durante l'inferenza.

    Dichiarazione

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>