Norma wsadowa

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Warstwa normalizacyjna wsadowa.

Normalizuje aktywacje poprzedniej warstwy w każdej partii, tj. stosuje transformację, która utrzymuje średnią aktywację w pobliżu 0 i odchylenie standardowe aktywacji w pobliżu 1 .

Odniesienie: Normalizacja wsadowa: przyspieszanie uczenia głębokiej sieci poprzez zmniejszenie wewnętrznego przesunięcia współzmiennych .

  • oś

    Wymiar cechy.

    Deklaracja

    @noDerivative
public let axis: Int

  • Dynamika średniej kroczącej i wariancji bieżącej.

    Deklaracja

    @noDerivative
public let momentum: Scalar

  • Wartość przesunięcia, znana również jako beta.

    Deklaracja

    public var offset: Tensor<Scalar>

  • Wartość skali, znana również jako gamma.

    Deklaracja

    public var scale: Tensor<Scalar>

  • Wartość epsilon wariancji.

    Deklaracja

    @noDerivative
public let epsilon: Scalar

  • Środek biegowy.

    Deklaracja

    @noDerivative
public var runningMean: Parameter<Scalar>

  • Bieżąca wariancja.

    Deklaracja

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • Tworzy warstwę normalizacji wsadowej.

    Deklaracja

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    Parametry

    axis

    Oś, która nie powinna być normalizowana (zazwyczaj oś elementu).

    momentum

    Dynamika średniej ruchomej.

    offset

    Przesunięcie, które ma zostać dodane do znormalizowanego tensora.

    scale

    Skala, przez którą należy pomnożyć znormalizowany tensor.

    epsilon

    Mały skalar dodany do mianownika w celu poprawy stabilności liczbowej.

    runningMean

    Środek biegowy.

    runningVariance

    Bieżąca wariancja.

  • Zwraca wynik uzyskany po zastosowaniu warstwy do podanych danych wejściowych.

    Deklaracja

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parametry

    input

    Wejście do warstwy.

    Wartość zwracana

    Wyjście.

  • Tworzy warstwę normalizacji wsadowej.

    Deklaracja

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    Parametry

    featureCount

    Liczba funkcji.

    axis

    Oś, która powinna zostać znormalizowana (zazwyczaj oś cech).

    momentum

    Dynamika średniej ruchomej.

    epsilon

    Mały skalar dodany do mianownika w celu poprawy stabilności liczbowej.