tensorflow::ops::ApplyRMSProp

Perbarui '*var' sesuai dengan algoritma RMSProp.

Ringkasan

Perlu dicatat bahwa dalam implementasi padat algoritma ini, ms dan mom akan diperbarui bahkan jika grad bernilai nol, tetapi dalam implementasi jarang ini, ms dan mom tidak akan diperbarui pada iterasi di mana grad bernilai nol.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

Argumen:

• Cakupan: Objek Cakupan
• var: Seharusnya berasal dari Variable().
• ms: Seharusnya berasal dari Variable().
• Ibu: Seharusnya berasal dari Variable().
• lr: Faktor skala. Harus berupa besaran skalar.
• rho: Tingkat peluruhan. Harus berupa besaran skalar.
• epsilon: Istilah Ridge. Harus berupa skalar.
• grad: Gradien.

Atribut opsional (lihat Attrs ):

• use_locking: Jika True , pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilakunya tidak terdefinisi, tetapi mungkin menunjukkan lebih sedikit persaingan.

Mengembalikan:

• Output : Sama dengan "var".

Atribut publik

Operation operation

::tensorflow::Output out

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)