ApplyCenteredRmsProp

قم بتحديث '*var' وفقًا لخوارزمية RMSProp المركزية.

تستخدم خوارزمية RMSProp المركزية تقديرًا للحظة الثانية المركزية (أي التباين) للتطبيع، على عكس خوارزمية RMSProp العادية، التي تستخدم اللحظة الثانية (غير المركزية). غالبًا ما يساعد هذا في التدريب، ولكنه أكثر تكلفة قليلاً من حيث الحساب والذاكرة.

لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث mg وms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث mg وms وmom في التكرارات التي يكون خلالها grad صفرًا.

mean_square = الاضمحلال * mean_square + (1-اضمحلال) * التدرج ** 2 mean_grad = الاضمحلال * mean_grad + (1-اضمحلال) * التدرج

دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon - mean_grad ** 2)

ملغ <- رو * ملغ_{t-1} + (1-رو) * غراد مللي ثانية <- رو * مللي_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * أمي_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom