ApplyCenteredRmsProp

Zaktualizuj „*var” zgodnie z wyśrodkowanym algorytmem RMSProp.

Wyśrodkowany algorytm RMSProp wykorzystuje oszacowanie wyśrodkowanego drugiego momentu (tj. wariancji) do normalizacji, w przeciwieństwie do zwykłego RMSProp, który wykorzystuje (niewyśrodkowany) drugi moment. Często pomaga to w treningu, ale jest nieco droższe pod względem obliczeń i pamięci.

Należy zauważyć, że w gęstej implementacji tego algorytmu mg, ms i mama zostaną zaktualizowane, nawet jeśli grad wynosi zero, ale w tej rzadkiej implementacji mg, ms i mama nie będą aktualizowane w iteracjach, podczas których grad wynosi zero.

średnia_kwadrat = zanik * średnia_kwadrat + (1-zanik) * gradient ** 2 średnia_grad = zanik * średnia_grad + (1-zanik) * gradient

Delta = współczynnik uczenia się * gradient / sqrt(średnia_kwadrat + epsilon - średnia_grad ** 2)

mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mama <- pęd * mama_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mama