ResourceApplyAdamWithAmsgrad

clase final pública ResourceApplyAdamWithAmsgrad

Actualice '*var' según el algoritmo de Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Clases anidadas

clase ResourceApplyAdamWithAmsgrad.Options Atributos opcionales para ResourceApplyAdamWithAmsgrad

Métodos públicos

estático <T> ResourceApplyAdamWithAmsgrad
crear ( Alcance alcance, Operando <?> var, Operando <?> m, Operando <?> v, Operando <?> vhat, Operando <T> beta1Power, Operando <T> beta2Power, Operando <T> lr, Operando <T > beta1, Operando <T> beta2, Operando <T> épsilon, Operando <T> grad, Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación ResourceApplyAdamWithAmsgrad.
ResourceApplyAdamWithAmsgrad.Options estático
useLocking (uso booleano Locking)

Métodos heredados

Métodos públicos

public static ResourceApplyAdamWithAmsgrad create ( Alcance alcance, Operando <?> var, Operando <?> m, Operando <?> v, Operando <?> vhat, Operando <T> beta1Power, Operando <T> beta2Power, Operando <T> lr, Operando <T> beta1, Operando <T> beta2, Operando <T> épsilon, Operando <T> grad, Opciones... opciones)

Método de fábrica para crear una clase que envuelve una nueva operación ResourceApplyAdamWithAmsgrad.

Parámetros
alcance alcance actual
var Debe ser de una Variable().
metro Debe ser de una Variable().
v Debe ser de una Variable().
qué Debe ser de una Variable().
beta1potencia Debe ser un escalar.
beta2potencia Debe ser un escalar.
lr Factor de escala. Debe ser un escalar.
beta1 Factor de impulso. Debe ser un escalar.
beta2 Factor de impulso. Debe ser un escalar.
épsilon Término de cresta. Debe ser un escalar.
graduado El gradiente.
opciones lleva valores de atributos opcionales
Devoluciones
  • una nueva instancia de ResourceApplyAdamWithAmsgrad

ResourceApplyAdamWithAmsgrad.Options estático público useLocking (useLocking booleano)

Parámetros
utilizarBloqueo Si es "True", la actualización de los tensores var, m y v estará protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención.