ResourceSparseApplyCenteredRmsProp

publiczna klasa końcowa ResourceSparseApplyCenteredRmsProp

Zaktualizuj „*var” zgodnie z wyśrodkowanym algorytmem RMSProp.

Wyśrodkowany algorytm RMSProp wykorzystuje oszacowanie wyśrodkowanego drugiego momentu (tj. wariancji) do normalizacji, w przeciwieństwie do zwykłego RMSProp, który wykorzystuje (niewyśrodkowany) drugi moment. Często pomaga to w treningu, ale jest nieco droższe pod względem obliczeń i pamięci.

Należy zauważyć, że w gęstej implementacji tego algorytmu mg, ms i mama zostaną zaktualizowane, nawet jeśli grad wynosi zero, ale w tej rzadkiej implementacji mg, ms i mama nie będą aktualizowane w iteracjach, podczas których grad wynosi zero.

średnia_kwadrat = zanik * średnia_kwadrat + (1-zanik) * gradient ** 2 średnia_grad = zanik * średnia_grad + (1-zanik) * gradient Delta = współczynnik_uczenia się * gradient / sqrt(średnia_kwadrat + epsilon - średnia_grad ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mama <- pęd * mama_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mama

Klasy zagnieżdżone

klasa ResourceSparseApplyCenteredRmsProp.Options Opcjonalne atrybuty ResourceSparseApplyCenteredRmsProp

Stałe

Strunowy OP_NAME Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Metody publiczne

static <T rozszerza TType > ResourceSparseApplyCenteredRmsProp
utwórz ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Argument <T> lr, Argument <T> rho, Argument <T> pęd, Argument <T > epsilon, Operand <T> grad, Operand <? rozszerza TNumber > indeksy, Opcje... opcje)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceSparseApplyCenteredRmsProp.
statyczny ResourceSparseApplyCenteredRmsProp.Options
useLocking (boolowski useLocking)

Metody dziedziczone

Stałe

publiczny statyczny końcowy ciąg znaków OP_NAME

Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Wartość stała: „ResourceSparseApplyCenteredRMSProp”

Metody publiczne

public static ResourceSparseApplyCenteredRmsProp create ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Operand <T> lr, Operand <T> rho, Operand <T> pęd, Operand <T> epsilon, Argument <T> grad, Argument <? rozszerza TNumber > indeksy, Opcje... opcje)

Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceSparseApplyCenteredRmsProp.

Parametry
zakres aktualny zakres
odm Powinno pochodzić ze zmiennej ().
mg Powinno pochodzić ze zmiennej ().
SM Powinno pochodzić ze zmiennej ().
mama Powinno pochodzić ze zmiennej ().
lr Współczynnik skalowania. Musi być skalarem.
rho Szybkość zaniku. Musi być skalarem.
epsilon Termin grzbietowy. Musi być skalarem.
absolwent Gradient.
indeksy Wektor indeksów pierwszego wymiaru var, ms i mama.
opcje przenosi opcjonalne wartości atrybutów
Zwroty
  • nowa instancja ResourceSparseApplyCenteredRmsProp

publiczny statyczny ResourceSparseApplyCenteredRmsProp.Options useLocking (boolean useLocking)

Parametry
użyjBlokowanie Jeśli `True`, aktualizacja tensorów var, mg, ms i mama jest zabezpieczona blokadą; w przeciwnym razie zachowanie jest niezdefiniowane, ale może wykazywać mniejszą rywalizację.
,
publiczna klasa końcowa ResourceSparseApplyCenteredRmsProp

Zaktualizuj „*var” zgodnie z wyśrodkowanym algorytmem RMSProp.

Wyśrodkowany algorytm RMSProp wykorzystuje oszacowanie wyśrodkowanego drugiego momentu (tj. wariancji) do normalizacji, w przeciwieństwie do zwykłego RMSProp, który wykorzystuje (niewyśrodkowany) drugi moment. Często pomaga to w treningu, ale jest nieco droższe pod względem obliczeń i pamięci.

Należy zauważyć, że w gęstej implementacji tego algorytmu mg, ms i mama zostaną zaktualizowane, nawet jeśli grad wynosi zero, ale w tej rzadkiej implementacji mg, ms i mama nie będą aktualizowane w iteracjach, podczas których grad wynosi zero.

średnia_kwadrat = zanik * średnia_kwadrat + (1-zanik) * gradient ** 2 średnia_grad = zanik * średnia_grad + (1-zanik) * gradient Delta = współczynnik_uczenia się * gradient / sqrt(średnia_kwadrat + epsilon - średnia_grad ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mama <- pęd * mama_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mama

Klasy zagnieżdżone

klasa ResourceSparseApplyCenteredRmsProp.Options Opcjonalne atrybuty ResourceSparseApplyCenteredRmsProp

Stałe

Strunowy OP_NAME Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Metody publiczne

static <T rozszerza TType > ResourceSparseApplyCenteredRmsProp
utwórz ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Argument <T> lr, Argument <T> rho, Argument <T> pęd, Argument <T > epsilon, Operand <T> grad, Operand <? rozszerza TNumber > indeksy, Opcje... opcje)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceSparseApplyCenteredRmsProp.
statyczny ResourceSparseApplyCenteredRmsProp.Options
useLocking (boolowski useLocking)

Metody dziedziczone

Stałe

publiczny statyczny końcowy ciąg znaków OP_NAME

Nazwa tej operacji znana silnikowi rdzenia TensorFlow

Wartość stała: „ResourceSparseApplyCenteredRMSProp”

Metody publiczne

public static ResourceSparseApplyCenteredRmsProp create ( Zakres zakresu, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mama, Operand <T> lr, Operand <T> rho, Operand <T> pęd, Operand <T> epsilon, Argument <T> grad, Argument <? rozszerza TNumber > indeksy, Opcje... opcje)

Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację ResourceSparseApplyCenteredRmsProp.

Parametry
zakres aktualny zakres
odm Powinno pochodzić ze zmiennej ().
mg Powinno pochodzić ze zmiennej ().
SM Powinno pochodzić ze zmiennej ().
mama Powinno pochodzić ze zmiennej ().
lr Współczynnik skalowania. Musi być skalarem.
rho Szybkość zaniku. Musi być skalarem.
epsilon Termin grzbietowy. Musi być skalarem.
absolwent Gradient.
indeksy Wektor indeksów pierwszego wymiaru var, ms i mama.
opcje przenosi opcjonalne wartości atrybutów
Zwroty
  • nowa instancja ResourceSparseApplyCenteredRmsProp

publiczny statyczny ResourceSparseApplyCenteredRmsProp.Options useLocking (boolean useLocking)

Parametry
użyjBlokowanie Jeśli `True`, aktualizacja tensorów var, mg, ms i mama jest zabezpieczona blokadą; w przeciwnym razie zachowanie jest niezdefiniowane, ale może wykazywać mniejszą rywalizację.