Обновите «*var» в соответствии с центрированным алгоритмом RMSProp.
Алгоритм центрированного RMSProp использует оценку центрированного второго момента (т. е. дисперсии) для нормализации, в отличие от обычного алгоритма RMSProp, который использует (нецентрированный) второй момент. Это часто помогает при обучении, но требует немного больше затрат с точки зрения вычислений и памяти.
Обратите внимание, что в плотной реализации этого алгоритма mg, ms и Mom будут обновляться, даже если градиент равен нулю, но в этой разреженной реализации mg, ms и Mom не будут обновляться на итерациях, во время которых градиент равен нулю.
средний_квадрат = затухание * средний_квадрат + (1-распад) * градиент ** 2 средний_град = затухание * средний_град + (1-распад) * градиент Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон - средний_град ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad Mom <- импульс * Mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - Mom
Вложенные классы
| сорт | ResourceSparseApplyCenteredRmsProp.Options | Дополнительные атрибуты для ResourceSparseApplyCenteredRmsProp | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| static <T расширяет TType > ResourceSparseApplyCenteredRmsProp | create ( Область действия, Операнд <?> var, Операнд <?> mg, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T > эпсилон, операнд <T> град, операнд <? расширяет индексы TNumber >, параметры... параметры) Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyCenteredRmsProp. |
| статический ResourceSparseApplyCenteredRmsProp.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Публичные методы
public static ResourceSparseApplyCenteredRmsProp create ( Область действия, Операнд <?> var, Операнд <?> mg, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T> град, Операнд <? расширяет индексы TNumber >, Опции... опции)
Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyCenteredRmsProp.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| мг | Должно быть из переменной(). |
| РС | Должно быть из переменной(). |
| мама | Должно быть из переменной(). |
| лр | Коэффициент масштабирования. Должно быть скаляр. |
| ро | Скорость распада. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| индексы | Вектор индексов в первом измерении var, ms и Mom. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceSparseApplyCenteredRmsProp
public static ResourceSparseApplyCenteredRmsProp.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если задано значение True, обновление тензоров var, mg, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|
Обновите «*var» в соответствии с центрированным алгоритмом RMSProp.
Алгоритм центрированного RMSProp использует оценку центрированного второго момента (т. е. дисперсии) для нормализации, в отличие от обычного алгоритма RMSProp, который использует (нецентрированный) второй момент. Это часто помогает при обучении, но требует немного больше затрат с точки зрения вычислений и памяти.
Обратите внимание, что в плотной реализации этого алгоритма mg, ms и Mom будут обновляться, даже если градиент равен нулю, но в этой разреженной реализации mg, ms и Mom не будут обновляться на итерациях, во время которых градиент равен нулю.
средний_квадрат = затухание * средний_квадрат + (1-распад) * градиент ** 2 средний_град = затухание * средний_град + (1-распад) * градиент Дельта = скорость обучения * градиент / sqrt(средний_квадрат + эпсилон - средний_град ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad Mom <- импульс * Mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - Mom
Вложенные классы
| сорт | ResourceSparseApplyCenteredRmsProp.Options | Дополнительные атрибуты для ResourceSparseApplyCenteredRmsProp | |
Константы
| Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
| static <T расширяет TType > ResourceSparseApplyCenteredRmsProp | create ( Область действия, Операнд <?> var, Операнд <?> mg, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T > эпсилон, операнд <T> град, операнд <? расширяет индексы TNumber >, параметры... параметры) Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyCenteredRmsProp. |
| статический ResourceSparseApplyCenteredRmsProp.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Публичные методы
public static ResourceSparseApplyCenteredRmsProp create ( Область действия, Операнд <?> var, Операнд <?> mg, Операнд <?> мс, Операнд <?> Mom, Операнд <T> lr, Операнд <T> rho, Операнд <T> импульс, Операнд <T> эпсилон, Операнд <T> град, Операнд <? расширяет индексы TNumber >, Опции... опции)
Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyCenteredRmsProp.
Параметры
| объем | текущий объем |
|---|---|
| вар | Должно быть из переменной(). |
| мг | Должно быть из переменной(). |
| РС | Должно быть из переменной(). |
| мама | Должно быть из переменной(). |
| лр | Коэффициент масштабирования. Должно быть скаляр. |
| ро | Скорость распада. Должно быть скаляр. |
| эпсилон | Риджовый термин. Должно быть скаляр. |
| выпускник | Градиент. |
| индексы | Вектор индексов в первом измерении var, ms и Mom. |
| параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceSparseApplyCenteredRmsProp
public static ResourceSparseApplyCenteredRmsProp.Options useLocking (логическое значение useLocking)
Параметры
| использоватьLocking | Если задано значение True, обновление тензоров var, mg, ms и Mom защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
|---|