GitHub

LayerNorm 

@frozen
public struct LayerNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

لایه ای که نرمال سازی لایه را روی یک دسته کوچک از ورودی ها اعمال می کند.

مرجع: عادی سازی لایه .

  • مقدار افست که به عنوان بتا نیز شناخته می شود.

    اعلامیه 

    public var offset: Tensor<Scalar>

  • مقدار مقیاس که به عنوان گاما نیز شناخته می شود.

    اعلامیه 

    public var scale: Tensor<Scalar>

  • محور.

    اعلامیه 

    @noDerivative
public let axis: Int

  • مقدار اپسیلون واریانس

    اعلامیه 

    @noDerivative
public let epsilon: Scalar

  • یک لایه عادی سازی لایه ایجاد می کند.

    اعلامیه 

    public init(
  offset: Tensor<Scalar>,
  scale: Tensor<Scalar>,
  axis: Int,
  epsilon: Scalar
)

  • یک لایه عادی سازی لایه ایجاد می کند.

    اعلامیه 

    public init(
  featureCount: Int,
  axis: Int,
  epsilon: Scalar = 0.001
)

    پارامترها

    featureCount

    تعداد ویژگی ها

    axis

    محوری که باید نرمال شود.

    epsilon

    اسکالر کوچک به واریانس اضافه شد.

  • خروجی به دست آمده از اعمال لایه به ورودی داده شده را برمی گرداند.

    اعلامیه 

    @differentiable
public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    پارامترها

    input

    ورودی لایه

    ارزش بازگشتی

    خروجی.