আরএমএসপ্রপ

public class RMSProp<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

একটি RMSProp অপ্টিমাইজার।

RMSProp অপ্টিমাইজেশান অ্যালগরিদম প্রয়োগ করে। RMSProp হল স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের একটি ফর্ম যেখানে গ্রেডিয়েন্টগুলিকে তাদের সাম্প্রতিক মাত্রার চলমান গড় দ্বারা ভাগ করা হয়। RMSProp প্রতিটি ওজনের জন্য বর্গ গ্রেডিয়েন্টের একটি চলমান গড় রাখে।

তথ্যসূত্র:

  • ঘোষণা

    public typealias Model = Model

  • শেখার হার।

    ঘোষণা

    public var learningRate: Float
  • rho

    গ্রেডিয়েন্ট মুভিং গড় ক্ষয় ফ্যাক্টর।

    ঘোষণা

    public var rho: Float

  • সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।

    ঘোষণা

    public var epsilon: Float

  • শেখার হার ক্ষয়।

    ঘোষণা

    public var decay: Float

  • ধাপ গণনা.

    ঘোষণা

    public var step: Float

  • সমস্ত মডেল ডিফারেনশিয়াবল ভেরিয়েবলের জন্য আলফা মান।

    ঘোষণা

    public var alpha: Model.TangentVector

  • model জন্য একটি উদাহরণ তৈরি করে।

    ঘোষণা

    public init(
  for model: __shared Model,
  learningRate: Float = 1e-3,
  rho: Float = 0.9,
  epsilon: Float = 1e-8,
  decay: Float = 0
)

    পরামিতি

    learningRate

    শেখার হার। ডিফল্ট মান হল 1e-3 ।

    rho

    গ্রেডিয়েন্ট মুভিং গড় ক্ষয় ফ্যাক্টর। ডিফল্ট মান হল 0.9 ।

    epsilon

    সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে। ডিফল্ট মান হল 1e-8 ।

    decay

    শেখার হার ক্ষয়। ডিফল্ট মান হল 0 ।

  • ঘোষণা

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • ঘোষণা

    public required init(copying other: RMSProp, to device: Device)