AlphaDropout

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

שכבת נשירת אלפא.

Alpha Dropout הוא Dropout ששומר על ממוצע ושונות של כניסות לערכים המקוריים שלהם, על מנת להבטיח את תכונת הנרמול העצמי גם לאחר נשירה זו. Alpha Dropout מתאים היטב ליחידות לינאריות מעריכיות בקנה מידה על ידי הגדרה אקראית של הפעלות לערך הרוויה השלילי.

מקור: Self-Normalizing Neural Networks: https://arxiv.org/abs/1706.02515

  • הַצהָרָה

    public typealias TangentVector = EmptyTangentVector

  • הַצהָרָה

    @noDerivative
public let probability: Double

  • מאתחל שכבת AlphaDropout עם probability הניתנת להגדרה.

    תְנַאִי מוּקדָם

    ההסתברות חייבת להיות ערך בין 0 ל-1 (כולל).

    הַצהָרָה

    public init(probability: Double)

    פרמטרים

    probability

    ההסתברות לנשירה של צומת.

  • מוסיף רעש input במהלך האימון, והוא ללא הפעלה במהלך הסקת מסקנות.

    הַצהָרָה

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>