ראדאם

public class RAdam<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

RAdam אופטימיזציה.

אדם מתוקן, גרסה של אדם שמציגה מונח לתיקון השונות של שיעור הלמידה האדפטיבית.

התייחסות: "על השונות של קצב הלמידה ההסתגלותית ומעבר לכך"

  • הַצהָרָה

    public typealias Model = Model
  • קצב הלמידה.

    הַצהָרָה

    public var learningRate: Float
  • מקדם המשמש לחישוב המומנט הראשון והשני של השיפועים.

    הַצהָרָה

    public var beta1: Float
  • מקדם המשמש לחישוב המומנט הראשון והשני של השיפועים.

    הַצהָרָה

    public var beta2: Float
  • סקלאר קטן נוסף למכנה כדי לשפר את היציבות המספרית.

    הַצהָרָה

    public var epsilon: Float
  • קצב הלמידה דעיכה.

    הַצהָרָה

    public var decay: Float
  • השלב הנוכחי.

    הַצהָרָה

    public var step: Int
  • הרגעים הראשונים של המשקולות.

    הַצהָרָה

    public var firstMoments: Model.TangentVector
  • הרגעים השניים של המשקולות.

    הַצהָרָה

    public var secondMoments: Model.TangentVector
  • הַצהָרָה

    public init(
      for model: __shared Model,
      learningRate: Float = 1e-3,
      beta1: Float = 0.9,
      beta2: Float = 0.999,
      epsilon: Float = 1e-8,
      decay: Float = 0
    )
  • הַצהָרָה

    public func update(_ model: inout Model, along direction: Model.TangentVector)
  • הַצהָרָה

    public required init(copying other: RAdam, to device: Device)