Norma Batch

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Lapisan normalisasi batch.

Menormalkan aktivasi lapisan sebelumnya pada setiap batch, yaitu menerapkan transformasi yang mempertahankan aktivasi rata-rata mendekati 0 dan deviasi standar aktivasi mendekati 1 .

Referensi: Normalisasi Batch: Mempercepat Pelatihan Jaringan Dalam dengan Mengurangi Pergeseran Kovariat Internal .

  • Dimensi fitur.

    Pernyataan

    @noDerivative
public let axis: Int

  • Momentum running mean dan running variance.

    Pernyataan

    @noDerivative
public let momentum: Scalar

  • Nilai offset, juga dikenal sebagai beta.

    Pernyataan

    public var offset: Tensor<Scalar>

  • Nilai skala, juga dikenal sebagai gamma.

    Pernyataan

    public var scale: Tensor<Scalar>

  • Nilai varians epsilon.

    Pernyataan

    @noDerivative
public let epsilon: Scalar

  • Maksud larinya.

    Pernyataan

    @noDerivative
public var runningMean: Parameter<Scalar>

  • Varians yang berjalan.

    Pernyataan

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • Membuat lapisan normalisasi batch.

    Pernyataan

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    Parameter

    axis

    Sumbu yang tidak boleh dinormalisasi (biasanya sumbu fitur).

    momentum

    Momentum untuk moving average.

    offset

    Offset yang akan ditambahkan ke tensor yang dinormalisasi.

    scale

    Skala untuk mengalikan tensor yang dinormalisasi dengan.

    epsilon

    Skalar kecil ditambahkan ke penyebut untuk meningkatkan stabilitas numerik.

    runningMean

    Maksud larinya.

    runningVariance

    Varians yang berjalan.

  • Mengembalikan keluaran yang diperoleh dari penerapan lapisan ke masukan yang diberikan.

    Pernyataan

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parameter

    input

    Masukan ke lapisan.

    Nilai Pengembalian

    Hasil.

  • Membuat lapisan normalisasi batch.

    Pernyataan

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    Parameter

    featureCount

    Jumlah fitur.

    axis

    Sumbu yang harus dinormalisasi (biasanya sumbu fitur).

    momentum

    Momentum untuk moving average.

    epsilon

    Skalar kecil ditambahkan ke penyebut untuk meningkatkan stabilitas numerik.