AlphaDropout

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Uma camada de eliminação alfa.

Alpha Dropout é um Dropout que mantém média e variância de entradas para os valores originais, a fim de garantir a propriedade auto-normalizando, mesmo após este abandono. Alpha Dropout se ajusta bem às unidades lineares exponenciais em escala, configurando ativações aleatoriamente para o valor de saturação negativo.

Fonte: Auto-Normalizing Neural Networks: https://arxiv.org/abs/1706.02515

  • Declaração

    public typealias TangentVector = EmptyTangentVector

  • Declaração

    @noDerivative
public let probability: Double

  • Inicializa uma AlphaDropout camada com uma configurável probability .

    Condição prévia

    probabilidade deve ser um valor entre 0 e 1 (inclusive).

    Declaração

    public init(probability: Double)

    Parâmetros

    probability

    A probabilidade de um nó cair.

  • Adiciona ruídos para input durante o treinamento, e é um não-op durante a inferência.

    Declaração

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>