Эта страница была переведа с помощью Cloud Translation API.
Switch to English

tensorflow :: опс :: ResourceApplyCenteredRMSProp

#include <training_ops.h>

Обновление «* вар» в соответствии с центрированным алгоритмом RMSProp.

Резюме

По центру RMSProp алгоритм использует оценку центрированного второй момент (т.е. дисперсия) для нормализации, в отличие от регулярного RMSProp, который использует (uncentered) второй момент. Это часто помогает при обучении, но немного дороже, с точки зрения вычислений и памяти.

Следует отметить, что в густой реализации этого алгоритма, мг, мс, и мама будут обновляться, даже если град равен нуль, но в этой редкой реализации, мг, мс, и мама не будет обновляться в итерациях, в течение которого град равен нуль.

mean_square = распад * mean_square + (1-распад) * градиент ** 2 = mean_grad распад * mean_grad + (1-распад) * градиент

Дельта = learning_rate * градиент / SQRT (mean_square + эпсилон - mean_grad ** 2)

мг <- Rho * mg_ {т-1} + (1-Rho) * град мс <- Rho * ms_ {т-1} + (1-Rho) * град * град мама <- импульса * mom_ {т-1 } + Л.Р. * град / SQRT (мс - мг * мг + эпсилон) вар <- вар - мама

Аргументы:

  • Объем: а Объем объект
  • вар: Должен быть от переменной ().
  • мг: Должно быть из переменной ().
  • мс: Должен быть от переменной ().
  • мама: Должен быть от переменной ().
  • Л.Р.: Коэффициент масштабирования. Должно быть скаляром.
  • Rho: Распад скорость. Должно быть скаляром.
  • эпсилон: Ридж срок. Должно быть скаляром.
  • град: градиент.

Дополнительные атрибуты (см Attrs ):

  • use_locking: Если True , обновление УАК, мг, мс, и мама тензоров защищена замком; в противном случае поведение не определено, но может демонстрировать меньшую конкуренцию.

Возвращает:

Конструкторы и деструкторы

ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

Публичные атрибуты

operation

Общественные функции

operator::tensorflow::Operation () const

Общедоступные статические функции

UseLocking (bool x)

Структуры

tensorflow :: опс :: ResourceApplyCenteredRMSProp :: Attrs

Дополнительные сеттеры атрибутов для ResourceApplyCenteredRMSProp .

Публичные атрибуты

операция

 Operation operation

Общественные функции

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const :: tensorflow::Scope & scope,
  :: tensorflow::Input var,
  :: tensorflow::Input mg,
  :: tensorflow::Input ms,
  :: tensorflow::Input mom,
  :: tensorflow::Input lr,
  :: tensorflow::Input rho,
  :: tensorflow::Input momentum,
  :: tensorflow::Input epsilon,
  :: tensorflow::Input grad
)

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const :: tensorflow::Scope & scope,
  :: tensorflow::Input var,
  :: tensorflow::Input mg,
  :: tensorflow::Input ms,
  :: tensorflow::Input mom,
  :: tensorflow::Input lr,
  :: tensorflow::Input rho,
  :: tensorflow::Input momentum,
  :: tensorflow::Input epsilon,
  :: tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

Оператор :: tensorflow :: Операция

 operator::tensorflow::Operation() const 

Общедоступные статические функции

UseLocking

 Attrs UseLocking(
  bool x
)