BatchNorm

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ
@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

เลเยอร์การทำให้เป็นมาตรฐานของแบทช์

normalizes การเปิดใช้งานของชั้นก่อนหน้านี้ในแต่ละชุดเช่นใช้การเปลี่ยนแปลงที่รักษาอย่างใกล้ชิดยืนยันการใช้งานเฉลี่ยกับ 0 และเปิดใช้งานส่วนเบี่ยงเบนมาตรฐานใกล้จะ 1

อ้างอิง: ชุดปกติ: เร่งการฝึกอบรมเครือข่ายลึกโดยการลดภายในตัวแปรร่วมกะ

  • มิติข้อมูลคุณลักษณะ

    ประกาศ

    @noDerivative
    public let axis: Int
  • โมเมนตัมสำหรับค่าเฉลี่ยการวิ่งและความแปรปรวนการวิ่ง

    ประกาศ

    @noDerivative
    public let momentum: Scalar
  • ค่าออฟเซ็ตหรือที่เรียกว่าเบต้า

    ประกาศ

    public var offset: Tensor<Scalar>
  • ค่ามาตราส่วนหรือที่เรียกว่าแกมมา

    ประกาศ

    public var scale: Tensor<Scalar>
  • ค่าความแปรปรวนของเอปซิลอน

    ประกาศ

    @noDerivative
    public let epsilon: Scalar
  • ค่าเฉลี่ยการวิ่ง

    ประกาศ

    @noDerivative
    public var runningMean: Parameter<Scalar>
  • ความแปรปรวนของการวิ่ง

    ประกาศ

    @noDerivative
    public var runningVariance: Parameter<Scalar>
  • สร้างเลเยอร์การทำให้เป็นมาตรฐานของแบทช์

    ประกาศ

    public init(
      axis: Int,
      momentum: Scalar,
      offset: Tensor<Scalar>,
      scale: Tensor<Scalar>,
      epsilon: Scalar,
      runningMean: Tensor<Scalar>,
      runningVariance: Tensor<Scalar>
    )

    พารามิเตอร์

    axis

    แกนที่ไม่ควรทำให้เป็นมาตรฐาน (โดยทั่วไปคือแกนคุณลักษณะ)

    momentum

    โมเมนตัมสำหรับเส้นค่าเฉลี่ยเคลื่อนที่

    offset

    ออฟเซ็ตที่จะเพิ่มให้กับเทนเซอร์ที่ทำให้เป็นมาตรฐาน

    scale

    มาตราส่วนการคูณเทนเซอร์นอร์มัลไลซ์ด้วย

    epsilon

    เพิ่มสเกลาร์ขนาดเล็กลงในตัวส่วนเพื่อปรับปรุงความเสถียรของตัวเลข

    runningMean

    ค่าเฉลี่ยการวิ่ง

    runningVariance

    ความแปรปรวนของการวิ่ง

  • ส่งกลับผลลัพธ์ที่ได้จากการใช้เลเยอร์กับอินพุตที่กำหนด

    ประกาศ

    @differentiable
    public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    พารามิเตอร์

    input

    อินพุตไปยังเลเยอร์

    คืนมูลค่า

    ผลลัพธ์.

  • สร้างเลเยอร์การทำให้เป็นมาตรฐานของแบทช์

    ประกาศ

    public init(
      featureCount: Int,
      axis: Int = -1,
      momentum: Scalar = 0.99,
      epsilon: Scalar = 0.001
    )

    พารามิเตอร์

    featureCount

    จำนวนของคุณสมบัติ

    axis

    แกนที่ควรถูกทำให้เป็นมาตรฐาน (โดยทั่วไปคือแกนคุณสมบัติ)

    momentum

    โมเมนตัมสำหรับเส้นค่าเฉลี่ยเคลื่อนที่

    epsilon

    เพิ่มสเกลาร์ขนาดเล็กลงในตัวส่วนเพื่อปรับปรุงความเสถียรของตัวเลข