알파드롭아웃

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

알파 드롭아웃 레이어.

알파 드롭아웃(Alpha Dropout)은 드롭아웃 후에도 자체 정규화 속성을 보장하기 위해 입력의 평균과 분산을 원래 값으로 유지하는 Dropout 입니다. Alpha Dropout은 활성화를 음수 포화 값으로 무작위로 설정하여 Scaled Exponential Linear Units에 잘 맞습니다.

출처: 자체 정규화 신경망: https://arxiv.org/abs/1706.02515

  • 선언

    public typealias TangentVector = EmptyTangentVector

  • 선언

    @noDerivative
public let probability: Double

  • 구성 가능한 probability 로 AlphaDropout 레이어를 초기화합니다.

    전제조건

    확률은 0에서 1(포함) 사이의 값이어야 합니다.

    선언

    public init(probability: Double)

    매개변수

    probability

    노드가 삭제될 확률입니다.

  • 훈련 중에 input 에 노이즈를 추가하고 추론 중에는 작동하지 않습니다.

    선언

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>