tensorflow:: ops:: ResourceApplyCenteredRMSProp

قم بتحديث '*var' وفقًا لخوارزمية RMSProp المركزية.

ملخص

تستخدم خوارزمية RMSProp المركزية تقديرًا للعزم الثاني المركزي (أي التباين) للتطبيع، على عكس خوارزمية RMSProp العادية التي تستخدم العزم الثاني (غير المركزي). غالبًا ما يُسهم هذا في التدريب، ولكنه أكثر تكلفةً من حيث الحساب والذاكرة.

لاحظ أنه في التنفيذ الكثيف لهذه الخوارزمية، سيتم تحديث mg و ms و mom حتى لو كان التدرج صفرًا، ولكن في هذا التنفيذ المتفرق، لن يتم تحديث mg و ms و mom في التكرارات التي يكون فيها التدرج صفرًا.

متوسط_المربع = التضاؤل ​​* متوسط_المربع + (1-التضاؤل) * التدرج ** 2 متوسط_التدرج = التضاؤل ​​* متوسط_التدرج + (1-التضاؤل) * التدرج

دلتا = معدل التعلم * التدرج / جذر (متوسط ​​المربع + إبسيلون - متوسط ​​التدرج ** 2)

mg <- ρ * mg_{t-1} + (1-ρ) * grad ms <- ρ * ms_{t-1} + (1-ρ) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom

الحجج:

• النطاق: كائن النطاق
• var: يجب أن يكون من نوع Variable().
• mg: يجب أن يكون من متغير ().
• ms: يجب أن يكون من متغير ().
• الأم: يجب أن يكون من متغير ().
• lr: عامل القياس. يجب أن يكون قيمة عددية.
• rho: معدل الاضمحلال. يجب أن يكون قيمة عددية.
• إبسيلون: مصطلح الحافة. ​​يجب أن يكون كمية قياسية.
• grad: التدرج.

السمات الاختيارية (انظر Attrs ):

• استخدام القفل: إذا كانت True ، فإن تحديث موترات var و mg و ms و mom محمي بواسطة قفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يُظهر تنازعًا أقل.

المرتجعات:

• Operation التي تم إنشاؤها

السمات العامة

Operation operation

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

 operator::tensorflow::Operation() const 

Attrs UseLocking(
  bool x
)