ML Topluluk Günü 9 Kasım! TensorFlow, JAX güncellemeler için bize katılın ve daha fazla bilgi edinin

tensorflow :: ops :: ResourceApplyCenteredRMSProp

#include <training_ops.h>

"* Var" ı ortalanmış RMSProp algoritmasına göre güncelleyin.

Özet

Ortalanmış RMSProp algoritması, (ortalanmamış) ikinci anı kullanan normal RMSProp'un aksine, normalleştirme için ortalanmış ikinci momentin (yani varyans) bir tahminini kullanır. Bu genellikle eğitime yardımcı olur, ancak hesaplama ve hafıza açısından biraz daha pahalıdır.

Bu algoritmanın yoğun uygulamasında, derecelendirme sıfır olsa bile mg, ms ve annenin güncelleneceğini, ancak bu seyrek uygulamada, derecelendirmenin sıfır olduğu yinelemelerde mg, ms ve annenin güncellenmeyeceğini unutmayın.

ortalama_Kare = bozunma * ortalama_Kare + (1-bozunma) * gradyan ** 2 ortalama_grad = bozulma * ortalama_grad + (1-bozunma) * gradyan

Delta = öğrenme_ hızı * gradyan / sqrt (ortalama_sare + epsilon - ortalama_grad ** 2)

mg <- rho * mg_ {t-1} + (1-rho) * grad ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1 } + lr * grad / sqrt (ms - mg * mg + epsilon) var <- var - anne

Argümanlar:

  • kapsam: Bir Scope nesnesi
  • var: Değişken () 'den olmalıdır.
  • mg: Bir Değişkenden () alınmalıdır.
  • ms: Bir Değişkenden () olmalıdır.
  • anne: Bir Değişken'den () alınmalıdır.
  • lr: Ölçekleme faktörü. Skaler olmalı.
  • rho: Bozunma oranı. Skaler olmalı.
  • epsilon: Ridge terimi. Skaler olmalı.
  • grad: Gradyan.

İsteğe bağlı özellikler (bkz. Attrs ):

  • use_locking: True ise, var, mg, ms ve mom tensörlerin güncellenmesi bir kilitle korunur; aksi takdirde davranış tanımsızdır, ancak daha az çekişme gösterebilir.

İadeler:

Yapıcılar ve Yıkıcılar

ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ResourceApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ResourceApplyCenteredRMSProp::Attrs & attrs)

Genel özellikler

operation

Kamusal işlevler

operator::tensorflow::Operation () const

Genel statik işlevler

UseLocking (bool x)

Yapılar

tensorflow :: ops :: ResourceApplyCenteredRMSProp :: Attrs

ResourceApplyCenteredRMSProp için isteğe bağlı öznitelik belirleyiciler.

Genel özellikler

operasyon

Operation operation

Kamusal işlevler

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ResourceApplyCenteredRMSProp

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

operator :: tensorflow :: İşlem

 operator::tensorflow::Operation() const 

Genel statik işlevler

Kullanım Kilitleme

Attrs UseLocking(
  bool x
)