SGD

public class SGD<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

یک بهینه ساز شیب نزولی تصادفی (SGD).

الگوریتم نزولی گرادیان تصادفی را با پشتیبانی از تکانه، کاهش نرخ یادگیری و تکانه نستروف پیاده‌سازی می‌کند. مومنتوم و تکانه نستروف (معروف به روش گرادیان شتابدار نستروف) روش های بهینه سازی مرتبه اول هستند که می توانند سرعت تمرین و نرخ همگرایی نزول گرادیان را بهبود بخشند.

منابع:

  • اعلام

    public typealias Model = Model

  • میزان یادگیری

    اعلام

    public var learningRate: Float

  • عامل حرکت. این نزول گرادیان تصادفی را در جهت مربوطه تسریع می کند و نوسانات را کاهش می دهد.

    اعلام

    public var momentum: Float

  • کاهش نرخ یادگیری

    اعلام

    public var decay: Float

  • اگر درست است از حرکت Nesterov استفاده کنید.

    اعلام

    public var nesterov: Bool

  • وضعیت سرعت مدل

    اعلام

    public var velocity: Model.TangentVector

  • مجموعه اقدامات انجام شده

    اعلام

    public var step: Int

  • یک نمونه برای model ایجاد می کند.

    اعلام

    public init(
  for model: __shared Model,
  learningRate: Float = 0.01,
  momentum: Float = 0,
  decay: Float = 0,
  nesterov: Bool = false
)

    مولفه های

    learningRate

    میزان یادگیری مقدار پیش فرض 0.01 است.

    momentum

    ضریب تکانه ای که نزول گرادیان تصادفی را در جهت مربوطه تسریع می کند و نوسانات را کاهش می دهد. مقدار پیش فرض 0 است.

    decay

    کاهش نرخ یادگیری مقدار پیش فرض 0 است.

    nesterov

    اگر true باشد از حرکت Nesterov استفاده کنید. مقدار پیش فرض true است .

  • اعلام

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • اعلام

    public required init(copying other: SGD, to device: Device)