public class AdaGrad<Model: Differentiable>: Optimizer
where
Model.TangentVector: VectorProtocol & PointwiseMultiplicative
& ElementaryFunctions & KeyPathIterable,
Model.TangentVector.VectorSpaceScalar == Floatمحسن AdaGrad.
تنفيذ خوارزمية تحسين AdaGrad (التدرج التكيفي). يتمتع AdaGrad بمعدلات تعلم خاصة بالمعلمات، والتي يتم تكييفها وفقًا لعدد مرات تحديث المعلمات أثناء التدريب. المعلمات التي تتلقى المزيد من التحديثات لها معدلات تعلم أقل.
يقوم AdaGrad بتكييف معدلات التعلم لجميع معلمات النموذج بشكل فردي عن طريق قياسها بما يتناسب عكسيًا مع الجذر التربيعي للمجموع الجاري لمربعات معايير التدرج.
المرجع: "أساليب التدرج التكيفي للتعلم عبر الإنترنت والتحسين العشوائي" (Duchi et al, 2011)
تصريح
public typealias Model = Modelمعدل التعلم.
تصريح
public var learningRate: Floatكمية صغيرة تضاف إلى المقام لتحسين الاستقرار العددي.
تصريح
public var epsilon: Floatالمجموع الجاري لمربعات معايير التدرج.
تصريح
public var accumulator: Model.TangentVectorيقوم بإنشاء مثيل
model.تصريح
public init( for model: __shared Model, learningRate: Float = 1e-3, initialAccumulatorValue: Float = 0.1, epsilon: Float = 1e-8 )حدود
learningRateمعدل التعلم. القيمة الافتراضية هي
1e-3.initialAccumulatorValueالقيمة الأولية للمجموع الجاري لمربعات معايير التدرج. القيمة الافتراضية هي
0.1.epsilonكمية صغيرة تضاف إلى المقام لتحسين الاستقرار العددي. القيمة الافتراضية هي
1e-8.تصريح
public required init(copying other: AdaGrad, to device: Device)