BatchNorm

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Una capa de normalización por lotes.

Normaliza las activaciones de la capa anterior en cada lote, es decir, se aplica una transformación que mantiene la activación cerca media a 0 y la activación desviación estándar cerca de 1 .

Referencia: Lote Normalización: La aceleración de Deep Red de Formación mediante la reducción de Covarianza de cambio interno .

  • eje

    La dimensión de la característica.

    Declaración

    @noDerivative
public let axis: Int

  • El impulso de la media móvil y la varianza corriente.

    Declaración

    @noDerivative
public let momentum: Scalar

  • El valor de compensación, también conocido como beta.

    Declaración

    public var offset: Tensor<Scalar>

  • El valor de escala, también conocido como gamma.

    Declaración

    public var scale: Tensor<Scalar>

  • El valor épsilon de la varianza.

    Declaración

    @noDerivative
public let epsilon: Scalar

  • La media corriente.

    Declaración

    @noDerivative
public var runningMean: Parameter<Scalar>

  • La variación corriente.

    Declaración

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • Crea una capa de normalización por lotes.

    Declaración

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    Parámetros

    axis

    El eje que no debe normalizarse (normalmente el eje de características).

    momentum

    El impulso de la media móvil.

    offset

    El desplazamiento que se agregará al tensor normalizado.

    scale

    La escala por la que se multiplica el tensor normalizado.

    epsilon

    Un pequeño escalar agregado al denominador para mejorar la estabilidad numérica.

    runningMean

    La media corriente.

    runningVariance

    La variación corriente.

  • Devuelve la salida obtenida al aplicar la capa a la entrada dada.

    Declaración

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parámetros

    input

    La entrada a la capa.

    Valor devuelto

    La salida.

  • Crea una capa de normalización por lotes.

    Declaración

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    Parámetros

    featureCount

    El número de funciones.

    axis

    El eje que debe normalizarse (normalmente el eje de características).

    momentum

    El impulso de la media móvil.

    epsilon

    Un pequeño escalar agregado al denominador para mejorar la estabilidad numérica.