बैचनॉर्म

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

एक बैच सामान्यीकरण परत.

प्रत्येक बैच में पिछली परत की सक्रियता को सामान्य करता है, यानी एक परिवर्तन लागू करता है जो औसत सक्रियण को 0 के करीब और सक्रियण मानक विचलन को 1 के करीब बनाए रखता है।

संदर्भ: बैच सामान्यीकरण: आंतरिक सहसंयोजक बदलाव को कम करके गहन नेटवर्क प्रशिक्षण में तेजी लाना

  • सुविधा आयाम.

    घोषणा

    @noDerivative
    public let axis: Int
  • रनिंग माध्य और रनिंग विचरण का संवेग।

    घोषणा

    @noDerivative
    public let momentum: Scalar
  • ऑफसेट मान, जिसे बीटा भी कहा जाता है।

    घोषणा

    public var offset: Tensor<Scalar>
  • स्केल मान, जिसे गामा भी कहा जाता है।

    घोषणा

    public var scale: Tensor<Scalar>
  • विचरण ईपीएसलॉन मान.

    घोषणा

    @noDerivative
    public let epsilon: Scalar
  • दौड़ने का मतलब.

    घोषणा

    @noDerivative
    public var runningMean: Parameter<Scalar>
  • चल रहा विचरण.

    घोषणा

    @noDerivative
    public var runningVariance: Parameter<Scalar>
  • एक बैच सामान्यीकरण परत बनाता है।

    घोषणा

    public init(
      axis: Int,
      momentum: Scalar,
      offset: Tensor<Scalar>,
      scale: Tensor<Scalar>,
      epsilon: Scalar,
      runningMean: Tensor<Scalar>,
      runningVariance: Tensor<Scalar>
    )

    पैरामीटर

    axis

    वह अक्ष जिसे सामान्यीकृत नहीं किया जाना चाहिए (आमतौर पर फ़ीचर अक्ष)।

    momentum

    चलती औसत के लिए गति.

    offset

    सामान्यीकृत टेंसर में जोड़ा जाने वाला ऑफसेट।

    scale

    सामान्यीकृत टेंसर को गुणा करने का पैमाना।

    epsilon

    संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।

    runningMean

    दौड़ने का मतलब.

    runningVariance

    चल रहा विचरण.

  • दिए गए इनपुट पर परत लगाने से प्राप्त आउटपुट लौटाता है।

    घोषणा

    @differentiable
    public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    पैरामीटर

    input

    परत में इनपुट.

    प्रतिलाभ की मात्रा

    उत्पादन।

  • एक बैच सामान्यीकरण परत बनाता है।

    घोषणा

    public init(
      featureCount: Int,
      axis: Int = -1,
      momentum: Scalar = 0.99,
      epsilon: Scalar = 0.001
    )

    पैरामीटर

    featureCount

    सुविधाओं की संख्या.

    axis

    वह अक्ष जिसे सामान्यीकृत किया जाना चाहिए (आमतौर पर सुविधाएँ अक्ष)।

    momentum

    चलती औसत के लिए गति.

    epsilon

    संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।