LapisanNorma

@frozen
public struct LayerNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Lapisan yang menerapkan normalisasi lapisan pada sejumlah kecil masukan.

Referensi: Normalisasi Lapisan .

  • Nilai offset, juga dikenal sebagai beta.

    Pernyataan

    public var offset: Tensor<Scalar>

  • Nilai skala, juga dikenal sebagai gamma.

    Pernyataan

    public var scale: Tensor<Scalar>

  • Sumbu.

    Pernyataan

    @noDerivative
public let axis: Int

  • Nilai varians epsilon.

    Pernyataan

    @noDerivative
public let epsilon: Scalar

  • Membuat lapisan normalisasi lapisan.

    Pernyataan

    public init(
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  axis: Int,
  epsilon: Scalar
)

  • Membuat lapisan normalisasi lapisan.

    Pernyataan

    public init(
  featureCount: Int,
  axis: Int,
  epsilon: Scalar = 0.001
)

    Parameter

    featureCount

    Jumlah fitur.

    axis

    Sumbu yang harus dinormalisasi.

    epsilon

    Skalar kecil menambah varians.

  • Mengembalikan keluaran yang diperoleh dari penerapan lapisan ke masukan yang diberikan.

    Pernyataan

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parameter

    input

    Masukan ke lapisan.

    Nilai Pengembalian

    Hasil.