অ্যাডা ম্যাক্স

public class AdaMax<Model: Differentiable & KeyPathIterable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
    & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

অ্যাডাম্যাক্স অপ্টিমাইজার।

অসীম-আদর্শের উপর ভিত্তি করে আদমের একটি রূপ।

রেফারেন্স: "অ্যাডাম - স্টোকাস্টিক অপ্টিমাইজেশনের জন্য একটি পদ্ধতি" এর বিভাগ 7

  • ঘোষণা

    public typealias Model = Model
  • শেখার হার।

    ঘোষণা

    public var learningRate: Float
  • ক্ষয়ের হার গ্রেডিয়েন্টের প্রথম মুহূর্ত (গড়) অনুমান করতে ব্যবহৃত হয়।

    ঘোষণা

    public var beta1: Float
  • ক্ষয় হার সূচকীয়ভাবে ওজনযুক্ত অসীমতার আদর্শ অনুমান করতে ব্যবহৃত হয়।

    ঘোষণা

    public var beta2: Float
  • সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।

    ঘোষণা

    public var epsilon: Float
  • শেখার হার ক্ষয়।

    ঘোষণা

    public var decay: Float
  • ধাপ গণনা.

    ঘোষণা

    public var step: Int
  • ওজন প্রথম মুহূর্ত.

    ঘোষণা

    public var firstMoments: Model.TangentVector
  • ওজনের সূচকীয়ভাবে ওজনযুক্ত অসীমতার আদর্শ।

    ঘোষণা

    public var infinityNorm: Model.TangentVector
  • দ্রষ্টব্য: ডিফল্ট পরামিতিগুলি কাগজে প্রদত্ত অনুসরণ করে।

    ঘোষণা

    public init(
      for model: __shared Model,
      learningRate: Float = 0.002,
      beta1: Float = 0.9,
      beta2: Float = 0.999,
      epsilon: Float = 1e-8,
      decay: Float = 0
    )
  • ঘোষণা

    public func update(_ model: inout Model, along direction: Model.TangentVector)
  • ঘোষণা

    public required init(copying other: AdaMax, to device: Device)