アルファドロップアウト

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

アルファドロップアウトレイヤー。

アルファ ドロップアウトは、このドロップアウトの後でも自己正規化特性を保証するために、入力の平均と分散を元の値に維持するDropoutです。アルファ ドロップアウトは、アクティベーションを負の飽和値にランダムに設定することにより、スケーリングされた指数線形単位によく適合します。

出典 : 自己正規化ニューラル ネットワーク: https://arxiv.org/abs/1706.02515

  • 宣言

    public typealias TangentVector = EmptyTangentVector

  • 宣言

    @noDerivative
public let probability: Double

  • 構成可能なprobabilityでAlphaDropoutレイヤーを初期化します。

    前提条件

    確率は 0 と 1 (両端を含む) の間の値である必要があります。

    宣言

    public init(probability: Double)

    パラメーター

    probability

    ノードがドロップアウトする確率。

  • トレーニング中にinputにノイズを追加しますが、推論中は何も行いません。

    宣言

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>