قم بتحديث '*var' وفقًا لخوارزمية Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
فئات متداخلة
فصل | ResourceApplyAdamWithAmsgrad.Options | السمات الاختيارية لـ ResourceApplyAdamWithAmsgrad |
الأساليب العامة
ثابت <T> ResourceApplyAdamWithAmsgrad | إنشاء (نطاق النطاق ، المعامل <?> فار، المعامل <?> m، المعامل <?> v، المعامل <?> vhat، المعامل <T> beta1Power، المعامل <T> beta2Power، المعامل <T> lr، المعامل <T > beta1، المعامل <T> beta2، المعامل <T> إبسيلون، المعامل <T> غراد، خيارات... خيارات) طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceApplyAdamWithAmsgrad جديدة. |
ResourceApplyAdamWithAmsgrad.Options ثابت | useLocking (استخدام منطقي منطقي) |
الطرق الموروثة
الأساليب العامة
إنشاء ResourceApplyAdamWithAmsgrad الثابت العام (نطاق النطاق ، المعامل <?> var، المعامل <?> m، المعامل <?> v، المعامل <?> vhat، المعامل <T> beta1Power، المعامل <T> beta2Power، المعامل <T> lr، المعامل <T> beta1، المعامل <T> beta2، المعامل <T> إبسيلون، المعامل <T> غراد، خيارات... خيارات)
طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceApplyAdamWithAmsgrad جديدة.
حدود
نِطَاق | النطاق الحالي |
---|---|
فار | يجب أن يكون من متغير (). |
م | يجب أن يكون من متغير (). |
الخامس | يجب أن يكون من متغير (). |
vhat | يجب أن يكون من متغير (). |
beta1Power | يجب أن يكون العددية. |
beta2Power | يجب أن يكون العددية. |
lr | عامل التحجيم. يجب أن يكون العددية. |
بيتا1 | عامل الزخم. يجب أن يكون العددية. |
بيتا2 | عامل الزخم. يجب أن يكون العددية. |
إبسيلون | مصطلح ريدج. يجب أن يكون العددية. |
خريج | التدرج. |
خيارات | يحمل قيم السمات الاختيارية |
عائدات
- مثيل جديد من ResourceApplyAdamWithAmsgrad
ResourceApplyAdamWithAmsgrad.Options العام الثابت useLocking (الاستخدام المنطقي)
حدود
useLocking | إذا كان "صحيحًا"، فسيتم حماية تحديث الموترات var وm وv بواسطة قفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف. |
---|