レイヤノルム

@frozen
public struct LayerNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

入力のミニバッチに対してレイヤー正規化を適用するレイヤー。

参照:レイヤーの正規化。

  • ベータとも呼ばれるオフセット値。

    宣言

    public var offset: Tensor<Scalar>

  • ガンマとも呼ばれるスケール値。

    宣言

    public var scale: Tensor<Scalar>

  • 軸。

    宣言

    @noDerivative
public let axis: Int

  • 分散イプシロン値。

    宣言

    @noDerivative
public let epsilon: Scalar

  • レイヤー正規化レイヤーを作成します。

    宣言

    public init(
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  axis: Int,
  epsilon: Scalar
)

  • レイヤー正規化レイヤーを作成します。

    宣言

    public init(
  featureCount: Int,
  axis: Int,
  epsilon: Scalar = 0.001
)

    パラメーター

    featureCount

    特徴の数。

    axis

    正規化する必要がある軸。

    epsilon

    小さなスカラーが分散に追加されました。

  • 指定された入力にレイヤーを適用して得られた出力を返します。

    宣言

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    パラメーター

    input

    レイヤーへの入力。

    戻り値

    出力。