tensorflow::ops::SparseApplyCenteredRMSProp

'*var' değişkenini, merkezlenmiş RMSProp algoritmasına göre güncelleyin.

Özet

Merkezlenmiş RMSProp algoritması, normal RMSProp'un (merkezlenmemiş) ikinci momenti kullanmasının aksine, normalleştirme için merkezlenmiş ikinci momentin (yani varyansın) bir tahminini kullanır. Bu genellikle eğitimde yardımcı olur, ancak hesaplama ve bellek açısından biraz daha maliyetlidir.

Bu algoritmanın yoğun uygulamasında, gradyan sıfır olsa bile mg, ms ve mom değerleri güncellenir; ancak bu seyrek uygulamada, gradyanın sıfır olduğu yinelemeler sırasında mg, ms ve mom değerleri güncellenmez.

Ortalama_kare = azalma * ortalama_kare + (1-azalma) * eğim ** 2 Ortalama_eğim = azalma * ortalama_eğim + (1-azalma) * eğim Delta = öğrenme_oranı * eğim / sqrt(ortalama_kare + epsilon - ortalama_eğim ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

Argümanlar:

• kapsam: Bir Kapsam nesnesi
• var: Bir Variable() türünden gelmelidir.
• mg: Bir Değişkenden gelmelidir().
• ms: Bir Variable()'dan gelmelidir.
• anne: Bir Değişkenden gelmeli().
• lr: Ölçeklendirme faktörü. Skaler bir değer olmalıdır.
• rho: Bozunma oranı. Skaler bir değer olmalıdır.
• epsilon: Tepe noktası terimi. Skaler bir değer olmalıdır.
• grad: Eğim.
• İndeksler: Var, ms ve mom'un birinci boyutuna ait indekslerin vektörü.

İsteğe bağlı özellikler (bkz. Attrs ):

• use_locking: True ise, var, mg, ms ve mom tensörlerinin güncellenmesi bir kilit ile korunur; aksi takdirde davranış tanımsızdır, ancak daha az çekişme gösterebilir.

İadeler:

• Output : "var" ile aynı.

Genel özellikler

Operation operation

::tensorflow::Output out

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)