tensorflow :: ops :: ApplyRMSProp

RMSProp algoritmasına göre '* var'ı güncelleyin.

Özet

Bu algoritmanın yoğun uygulamasında, derecelendirme sıfır olsa bile ms ve annenin güncelleneceğini, ancak bu seyrek uygulamada, ms ve annenin derecelendirmenin sıfır olduğu yinelemelerde güncellenmeyeceğini unutmayın.

ortalama_kare = bozunma * ortalama_kare + (1-bozunma) * gradyan ** 2 Delta = öğrenme_ hızı * gradyan / sqrt (ortalama_kare + epsilon)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - anne

Argümanlar:

• kapsam: Bir Scope nesnesi
• var: Değişken () 'den olmalıdır.
• ms: Bir Değişkenden () olmalıdır.
• anne: Bir Değişken'den () alınmalıdır.
• lr: Ölçekleme faktörü. Skaler olmalı.
• rho: Bozunma oranı. Skaler olmalı.
• epsilon: Ridge terimi. Skaler olmalı.
• grad: Gradyan.

İsteğe bağlı özellikler (bkz. Attrs ):

• use_locking: True ise, var, ms ve mom tensörlerin güncellenmesi bir kilitle korunur; aksi takdirde davranış tanımsızdır, ancak daha az çekişme gösterebilir.

İadeler:

• Output : "var" ile aynı.

Genel özellikler

Operation operation

::tensorflow::Output out

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)