tensorflow :: ops :: ResourceSparseApplyCenteredRMSProp
#include <training_ops.h>
"* Var" ı ortalanmış RMSProp algoritmasına göre güncelleyin.
Özet
Ortalanmış RMSProp algoritması, (ortalanmamış) ikinci anı kullanan normal RMSProp'un aksine normalleştirme için ortalanmış ikinci momentin (yani varyans) bir tahminini kullanır. Bu genellikle eğitime yardımcı olur, ancak hesaplama ve hafıza açısından biraz daha pahalıdır.
Bu algoritmanın yoğun uygulamasında, derecelendirme sıfır olsa bile mg, ms ve anne güncellenecektir, ancak bu seyrek uygulamada, derecelendirmenin sıfır olduğu yinelemelerde mg, ms ve mom güncellenmeyecektir.
ortalama_kare = bozunma * ortalama_ kare + (1-bozunma) * gradyan ** 2 ortalama_grad = azalma * ortalama_grad + (1-bozunma) * gradyan Delta = öğrenme_ hızı * gradyan / sqrt (ortalama_kare + epsilon - ortalama_grad ** 2)
ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- momentum * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - anne
Argümanlar:
- kapsam: Bir Scope nesnesi
- var: Değişken () 'den olmalıdır.
- mg: Bir Değişkenden () alınmalıdır.
- ms: Bir Değişkenden () olmalıdır.
- anne: Bir Değişken'den () alınmalıdır.
- lr: Ölçekleme faktörü. Skaler olmalı.
- rho: Bozunma oranı. Skaler olmalı.
- epsilon: Ridge terimi. Skaler olmalı.
- grad: Gradyan.
- indisler: var, ms ve mom'in ilk boyutuna bir indis vektörü.
İsteğe bağlı özellikler (bkz. Attrs
):
- use_locking:
True
ise, var, mg, ms ve mom tensörlerin güncellenmesi bir kilitle korunur; aksi takdirde davranış tanımsızdır, ancak daha az çekişme gösterebilir.
İadeler:
- oluşturulan
Operation
Yapıcılar ve Yıkıcılar | |
---|---|
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices) | |
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs) |
Genel özellikler | |
---|---|
operation |
Kamusal işlevler | |
---|---|
operator::tensorflow::Operation () const |
Genel statik işlevler | |
---|---|
UseLocking (bool x) |
Yapılar | |
---|---|
tensorflow :: ops :: ResourceSparseApplyCenteredRMSProp :: Attrs | ResourceSparseApplyCenteredRMSProp için isteğe bağlı öznitelik belirleyiciler. |
Genel özellikler
operasyon
Operation operation
Kamusal işlevler
ResourceSparseApplyCenteredRMSProp
ResourceSparseApplyCenteredRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices )
ResourceSparseApplyCenteredRMSProp
ResourceSparseApplyCenteredRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs )
operator :: tensorflow :: İşlem
operator::tensorflow::Operation() const
Genel statik işlevler
Kullanım Kilitleme
Attrs UseLocking( bool x )