kelas akhir publik ResourceApplyAdamWithAmsgrad
Perbarui '*var' sesuai dengan algoritma Adam.
$$\text{lr}_t := \mathrm{learning_rate} * \sqrt{1 - \beta_2^t} / (1 - \beta_1^t)$$
$$m_t := \beta_1 * m_{t-1} + (1 - \beta_1) * g$$
$$v_t := \beta_2 * v_{t-1} + (1 - \beta_2) * g * g$$
$$\hat{v}_t := max{\hat{v}_{t-1}, v_t}$$
$$\text{variable} := \text{variable} - \text{lr}_t * m_t / (\sqrt{\hat{v}_t} + \epsilon)$$
Kelas Bersarang
| kelas | ResourceApplyAdamWithAmsgrad.Options | Atribut opsional untuk ResourceApplyAdamWithAmsgrad | |
Metode Publik
| statis <T> ResourceApplyAdamWithAmsgrad | buat ( Lingkup lingkup, Operand <?> var, Operand <?> m, Operand <?> v, Operand <?> vhat, Operand <T> beta1Power, Operand <T> beta2Power, Operand <T> lr, Operand <T > beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> lulusan, Opsi... opsi) Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru. |
| ResourceApplyAdamWithAmsgrad.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Metode Publik
public static ResourceApplyAdamWithAmsgrad buat ( Ruang lingkup, Operan <?> var, Operan <?> m, Operan <?> v, Operan <?> vhat, Operan <T> beta1Power, Operan <T> beta2Power, Operan <T> lr, Operan <T> beta1, Operan <T> beta2, Operan <T> epsilon, Operan <T> grad, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyAdamWithAmsgrad baru.
Parameter
| cakupan | ruang lingkup saat ini |
|---|---|
| var | Harus dari Variabel(). |
| M | Harus dari Variabel(). |
| ay | Harus dari Variabel(). |
| vhat | Harus dari Variabel(). |
| beta1Kekuatan | Pasti skalar. |
| beta2Kekuatan | Pasti skalar. |
| lr | Faktor skala. Pasti skalar. |
| beta1 | Faktor momentum. Pasti skalar. |
| beta2 | Faktor momentum. Pasti skalar. |
| epsilon | Istilah punggungan. Pasti skalar. |
| lulusan | Gradien. |
| pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceApplyAdamWithAmsgrad
ResourceApplyAdamWithAmsgrad.Options statis publik useLocking (Boolean useLocking)
Parameter
| gunakan Penguncian | Jika `True`, pembaruan tensor var, m, dan v akan dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
|---|