публичный финальный класс ResourceApplyAdamWithAmsgrad
Обновите «*var» в соответствии с алгоритмом Адама.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
Вложенные классы
| сорт | ResourceApplyAdamWithAmsgrad.Options | Дополнительные атрибуты для ResourceApplyAdamWithAmsgrad | |
Публичные методы
| статический <T> ResourceApplyAdamWithAmsgrad | create ( Область видимости , Операнд <?> var, Операнд <?> m, Операнд <?> v, Операнд <?> vhat, Операнд <T> beta1Power, Операнд <T> beta2Power, Операнд <T> lr, Операнд <T > beta1, Операнд <T> бета2, Операнд <T> эпсилон, Операнд <T> град, Опции... опции) Фабричный метод для создания класса, обертывающего новую операцию ResourceApplyAdamWithAmsgrad. |
| статический ResourceApplyAdamWithAmsgrad.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Публичные методы
public static ResourceApplyAdamWithAmsgrad create ( Область действия, Операнд <?> var, Операнд <?> m, Операнд <?> v, Операнд <?> vhat, Операнд <T> beta1Power, Операнд <T> beta2Power, Операнд <T> lr, Операнд <T> бета1, Операнд <T> бета2, Операнд <T> эпсилон, Операнд <T> град, Опции... опции)
Фабричный метод для создания класса, обертывающего новую операцию ResourceApplyAdamWithAmsgrad.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| м | Должно быть из переменной(). |
| в | Должно быть из переменной(). |
| что | Должно быть из переменной(). |
| бета1Power | Должно быть скаляр. |
| бета2Power | Должно быть скаляр. |
| лр | Коэффициент масштабирования. Должно быть скаляр. |
| бета1 | Фактор импульса. Должно быть скаляр. |
| бета2 | Фактор импульса. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceApplyAdamWithAmsgrad
общедоступный статический ResourceApplyAdamWithAmsgrad.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если «True», обновление тензоров var, m и v будет защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|