BatchNorm

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Một lớp chuẩn hóa hàng loạt.

Bình thường hóa các kích hoạt của lớp trước ở mỗi đợt, tức là áp dụng một phép biến đổi duy trì kích hoạt trung bình gần bằng 0 và độ lệch chuẩn kích hoạt gần bằng 1 .

Tham khảo: Chuẩn hóa hàng loạt: Tăng tốc đào tạo mạng sâu bằng cách giảm sự thay đổi hiệp phương sai nội bộ .

  • Kích thước tính năng.

    Tuyên ngôn

    @noDerivative
public let axis: Int

  • Động lượng của giá trị trung bình chạy và phương sai chạy.

    Tuyên ngôn

    @noDerivative
public let momentum: Scalar

  • Giá trị bù trừ, còn được gọi là beta.

    Tuyên ngôn

    public var offset: Tensor<Scalar>

  • Giá trị tỷ lệ, còn được gọi là gamma.

    Tuyên ngôn

    public var scale: Tensor<Scalar>

  • Giá trị phương sai epsilon.

    Tuyên ngôn

    @noDerivative
public let epsilon: Scalar

  • Ý nghĩa của việc chạy.

    Tuyên ngôn

    @noDerivative
public var runningMean: Parameter<Scalar>

  • Phương sai đang chạy.

    Tuyên ngôn

    @noDerivative
public var runningVariance: Parameter<Scalar>

  • Tạo một lớp chuẩn hóa hàng loạt.

    Tuyên ngôn

    public init(
  axis: Int,
  momentum: Scalar,
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  epsilon: Scalar,
  runningMean: Tensor<Scalar>,
  runningVariance: Tensor<Scalar>
)

    Thông số

    axis

    Trục không được chuẩn hóa (thường là trục tính năng).

    momentum

    Động lượng của đường trung bình động.

    offset

    Phần bù được thêm vào tensor chuẩn hóa.

    scale

    Thang đo để nhân tensor chuẩn hóa với.

    epsilon

    Một đại lượng vô hướng nhỏ được thêm vào mẫu số để cải thiện độ ổn định về số.

    runningMean

    Ý nghĩa của việc chạy.

    runningVariance

    Phương sai đang chạy.

  • Trả về kết quả thu được từ việc áp dụng lớp cho đầu vào đã cho.

    Tuyên ngôn

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Thông số

    input

    Đầu vào của lớp.

    Giá trị trả về

    Đầu ra.

  • Tạo một lớp chuẩn hóa hàng loạt.

    Tuyên ngôn

    public init(
  featureCount: Int,
  axis: Int = -1,
  momentum: Scalar = 0.99,
  epsilon: Scalar = 0.001
)

    Thông số

    featureCount

    Số lượng các tính năng.

    axis

    Trục cần được chuẩn hóa (thường là trục tính năng).

    momentum

    Động lượng của đường trung bình động.

    epsilon

    Một đại lượng vô hướng nhỏ được thêm vào mẫu số để cải thiện độ ổn định về số.