публичный финальный класс ResourceApplyRmsProp
Обновите «*var» в соответствии с алгоритмом RMSProp.
Обратите внимание, что в плотной реализации этого алгоритма ms и Mom будут обновляться, даже если градация равна нулю, но в этой разреженной реализации ms и Mom не будут обновляться на итерациях, во время которых градация равна нулю.
средний_квадрат = затухание * средний_квадрат + (1-затухание) * градиент ** 2 Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad Mom <- импульс * Mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - Mom
Вложенные классы
| сорт | ResourceApplyRmsProp.Options | Дополнительные атрибуты для ResourceApplyRmsProp | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| статический <T расширяет TType > ResourceApplyRmsProp | |
| статический ResourceApplyRmsProp.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Постоянное значение: «ResourceApplyRMSProp»
Публичные методы
public static ResourceApplyRmsProp create ( Область действия, Операнд <?> var, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> ро, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T> град, Опции... опции)
Фабричный метод для создания класса, обертывающего новую операцию ResourceApplyRmsProp.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| РС | Должно быть из переменной(). |
| мама | Должно быть из переменной(). |
| лр | Коэффициент масштабирования. Должно быть скаляр. |
| ро | Скорость распада. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceApplyRmsProp
public static ResourceApplyRmsProp.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если «True», обновление тензоров var, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|