BatchNorm

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Uma camada de normalização em lote.

Normaliza as activações da camada anterior, em cada lote, isto é, aplica-se uma transformação que mantém a activação perto significativo a 0 e o desvio padrão de activação perto de 1 .

Referência: Lote Normalização: Acelerar Rede de Formação profundo por Redução de covariáveis Interna de Deslocamento .

  • A dimensão do recurso.

    Declaração

    @noDerivative
public let axis: Int

  • O momento para a média e a variância em execução.

    Declaração

    @noDerivative
public let momentum: Scalar

  • O valor de deslocamento, também conhecido como beta.

    Declaração

    public var offset: Tensor<Scalar>

  • O valor da escala, também conhecido como gama.

    Declaração

    public var scale: Tensor<Scalar>

  • O valor épsilon da variação.

    Declaração

    @noDerivative
public let epsilon: Scalar

  • A média corrente.

    Declaração

    @noDerivative
public var runningMean: Parameter<Scalar>

  • A variação em execução.

    Declaração

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • Cria uma camada de normalização em lote.

    Declaração

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    Parâmetros

    axis

    O eixo que não deve ser normalizado (normalmente o eixo do recurso).

    momentum

    O momentum para a média móvel.

    offset

    O deslocamento a ser adicionado ao tensor normalizado.

    scale

    A escala pela qual multiplicar o tensor normalizado.

    epsilon

    Um pequeno escalar adicionado ao denominador para melhorar a estabilidade numérica.

    runningMean

    A média corrente.

    runningVariance

    A variação em execução.

  • Retorna a saída obtida da aplicação da camada à entrada fornecida.

    Declaração

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parâmetros

    input

    A entrada para a camada.

    Valor de retorno

    A saída.

  • Cria uma camada de normalização em lote.

    Declaração

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    Parâmetros

    featureCount

    O número de recursos.

    axis

    O eixo que deve ser normalizado (normalmente o eixo dos recursos).

    momentum

    O momentum para a média móvel.

    epsilon

    Um pequeno escalar adicionado ao denominador para melhorar a estabilidade numérica.