ResourceApplyAdamWithAmsgrad

classe final pública ResourceApplyAdamWithAmsgrad

Atualize '* var' de acordo com o algoritmo de Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Classes aninhadas

aula ResourceApplyAdamWithAmsgrad.Options Atributos opcionais para ResourceApplyAdamWithAmsgrad

Métodos Públicos

static <T> ResourceApplyAdamWithAmsgrad
criar ( Scope escopo, Operando <?> var, Operando <?> m, Operando <?> v, Operando <?> vhat, Operando <T> beta1Power, Operando <T> beta2Power, Operando <T> lr, Operando <T > beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opções ... opções)
Método de fábrica para criar uma classe que envolve uma nova operação ResourceApplyAdamWithAmsgrad.
static ResourceApplyAdamWithAmsgrad.Options
useLocking (Boolean useLocking)

Métodos herdados

Métodos Públicos

public static ResourceApplyAdamWithAmsgrad criar ( Scope escopo, Operando <?> var, Operando <?> m, Operando <?> v, Operando <?> vhat, Operando <T> beta1Power, Operando <T> beta2Power, Operando <T> lr, Operando <T> beta1, Operando <T> beta2, Operando <T> epsilon, Operando <T> grad, Opções ... opções)

Método de fábrica para criar uma classe que envolve uma nova operação ResourceApplyAdamWithAmsgrad.

Parâmetros
alcance escopo atual
var Deve ser de uma variável ().
m Deve ser de uma variável ().
v Deve ser de uma variável ().
vhat Deve ser de uma variável ().
beta1Power Deve ser um escalar.
beta2Power Deve ser um escalar.
lr Fator de escala. Deve ser um escalar.
beta1 Fator de momentum. Deve ser um escalar.
beta2 Fator de momentum. Deve ser um escalar.
épsilon Termo de cume. Deve ser um escalar.
grad O gradiente.
opções carrega valores de atributos opcionais
Devoluções
  • uma nova instância de ResourceApplyAdamWithAmsgrad

public static ResourceApplyAdamWithAmsgrad.Options useLocking (Boolean useLocking)

Parâmetros
useLocking Se for `True`, a atualização dos tensores var, m e v será protegida por um bloqueio; caso contrário, o comportamento é indefinido, mas pode exibir menos contenção.