バッチノルム

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

バッチ正規化レイヤー。

各バッチで前の層のアクティベーションを正規化します。つまり、平均アクティベーションを0に近く、アクティベーションの標準偏差を1に近く維持する変換を適用します。

参照:バッチ正規化: 内部共変量シフトを低減することによるディープ ネットワーク トレーニングの加速。

  • 機能のディメンション。

    宣言

    @noDerivative
public let axis: Int

  • 移動平均と移動分散の勢い。

    宣言

    @noDerivative
public let momentum: Scalar

  • ベータとも呼ばれるオフセット値。

    宣言

    public var offset: Tensor<Scalar>

  • ガンマとも呼ばれるスケール値。

    宣言

    public var scale: Tensor<Scalar>

  • 分散イプシロン値。

    宣言

    @noDerivative
public let epsilon: Scalar

  • ランニング平均値。

    宣言

    @noDerivative
public var runningMean: Parameter<Scalar>

  • 実行中の差異。

    宣言

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • バッチ正規化レイヤーを作成します。

    宣言

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    パラメーター

    axis

    正規化すべきではない軸 (通常はフィーチャー軸)。

    momentum

    移動平均の勢い。

    offset

    正規化されたテンソルに追加されるオフセット。

    scale

    正規化されたテンソルを乗算するスケール。

    epsilon

    数値の安定性を向上させるために、分母に小さなスカラーが追加されました。

    runningMean

    ランニング平均値。

    runningVariance

    実行中の差異。

  • 指定された入力にレイヤーを適用して得られた出力を返します。

    宣言

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    パラメーター

    input

    レイヤーへの入力。

    戻り値

    出力。

  • バッチ正規化レイヤーを作成します。

    宣言

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    パラメーター

    featureCount

    特徴の数。

    axis

    正規化する必要がある軸 (通常はフィーチャー軸)。

    momentum

    移動平均の勢い。

    epsilon

    数値の安定性を向上させるために、分母に小さなスカラーが追加されました。