tensorflow::ops::SparseApplyRMSProp

#include <training_ops.h>

Perbarui '*var' sesuai dengan algoritma RMSProp.

Ringkasan

Perlu dicatat bahwa dalam implementasi padat algoritma ini, ms dan mom akan diperbarui bahkan jika grad bernilai nol, tetapi dalam implementasi jarang ini, ms dan mom tidak akan diperbarui pada iterasi di mana grad bernilai nol.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

Argumen:

  • Cakupan: Objek Cakupan
  • var: Seharusnya berasal dari Variable().
  • ms: Seharusnya berasal dari Variable().
  • Ibu: Seharusnya berasal dari Variable().
  • lr: Faktor skala. Harus berupa besaran skalar.
  • rho: Tingkat peluruhan. Harus berupa besaran skalar.
  • epsilon: Istilah Ridge. Harus berupa skalar.
  • grad: Gradien.
  • indeks: Sebuah vektor indeks ke dimensi pertama dari var, ms, dan mom.

Atribut opsional (lihat Attrs ):

  • use_locking: Jika True , pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilakunya tidak terdefinisi, tetapi mungkin menunjukkan lebih sedikit persaingan.

Mengembalikan:

Konstruktor dan Destruktor

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

Atribut publik

operation
out

Fungsi publik

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Fungsi statis publik

UseLocking (bool x)

Struktur

tensorflow::ops::SparseApplyRMSProp::Attrs

Pengaturan atribut opsional untuk SparseApplyRMSProp .

Atribut publik

operasi 

Operation operation

keluar 

::tensorflow::Output out

Fungsi publik

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

simpul 

::tensorflow::Node * node() const

operator::tensorflow::Input 

 operator::tensorflow::Input() const

operator::tensorflow::Output 

 operator::tensorflow::Output() const

Fungsi statis publik

GunakanPenguncian 

Attrs UseLocking(
  bool x
)