에이다맥스

public class AdaMax<Model: Differentiable & KeyPathIterable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

AdaMax 최적화 프로그램.

무한대 규범을 기반으로 한 아담의 변형입니다.

참조: "Adam - 확률론적 최적화 방법" 의 섹션 7

  • 선언

    public typealias Model = Model

  • 학습률입니다.

    선언

    public var learningRate: Float

  • 기울기의 첫 번째 모멘트(평균)를 추정하는 데 사용되는 감쇠율입니다.

    선언

    public var beta1: Float

  • 지수 가중 무한대 노름을 추정하는 데 사용되는 감쇠율입니다.

    선언

    public var beta2: Float

  • 수치 안정성을 향상시키기 위해 분모에 작은 스칼라가 추가되었습니다.

    선언

    public var epsilon: Float

  • 학습률이 감소합니다.

    선언

    public var decay: Float

  • 걸음 수입니다.

    선언

    public var step: Int

  • 가중치의 첫 순간.

    선언

    public var firstMoments: Model.TangentVector

  • 가중치의 기하급수적으로 가중된 무한대 노름입니다.

    선언

    public var infinityNorm: Model.TangentVector

  • 참고: 기본 매개변수는 문서에 제공된 매개변수를 따릅니다.

    선언

    public init(
  for model: __shared Model,
  learningRate: Float = 0.002,
  beta1: Float = 0.9,
  beta2: Float = 0.999,
  epsilon: Float = 1e-8,
  decay: Float = 0
)

  • 선언

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • 선언

    public required init(copying other: AdaMax, to device: Device)