ResourceApplyAdamWithAmsgrad

ResourceApplyAdamWithAmsgrad public final class

Actualice '* var' según el algoritmo de Adam.

$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$

Clases anidadas

clase ResourceApplyAdamWithAmsgrad.Options Los atributos opcionales para ResourceApplyAdamWithAmsgrad

Métodos públicos

estática <T> ResourceApplyAdamWithAmsgrad
crear ( Alcance alcance, operando <?> var, operando <?> m, operando <?> v, operando <?> vhat, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T > beta1, operando <T> beta2, operando <T> épsilon, operando <T> graduado, opciones ... opciones)
Método de fábrica para crear una clase que envuelva una nueva operación ResourceApplyAdamWithAmsgrad.
estáticas ResourceApplyAdamWithAmsgrad.Options
useLocking (Boolean useLocking)

Métodos heredados

Métodos públicos

public static ResourceApplyAdamWithAmsgrad crear ( Alcance alcance, operando <?> var, operando <?> m, operando <?> v, operando <?> vhat, operando <T> beta1Power, operando <T> beta2Power, operando <T> lr, operando <T> beta1, operando <T> beta2, operando <T> épsilon, operando <T> graduado, opciones ... opciones)

Método de fábrica para crear una clase que envuelva una nueva operación ResourceApplyAdamWithAmsgrad.

Parámetros
alcance alcance actual
var Debe ser de una variable ().
metro Debe ser de una variable ().
v Debe ser de una variable ().
que Debe ser de una variable ().
beta1Power Debe ser un escalar.
beta2Power Debe ser un escalar.
lr Factor de escala. Debe ser un escalar.
beta1 Factor de momento. Debe ser un escalar.
beta2 Factor de momento. Debe ser un escalar.
épsilon Término de cresta. Debe ser un escalar.
graduado El gradiente.
opciones lleva valores de atributos opcionales
Devoluciones
  • una nueva instancia de ResourceApplyAdamWithAmsgrad

estáticas pública ResourceApplyAdamWithAmsgrad.Options useLocking (booleano useLocking)

Parámetros
useLocking Si es "True", la actualización de los tensores var, myv estará protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención.