tensorflow::ops::SparseApplyCenteredRMSProp

Cập nhật '*var' theo thuật toán RMSProp đã được căn giữa.

Bản tóm tắt

Thuật toán RMSProp trung tâm sử dụng ước lượng của mômen bậc hai trung tâm (tức là phương sai) để chuẩn hóa, trái ngược với RMSProp thông thường, sử dụng mômen bậc hai (không trung tâm). Điều này thường giúp ích cho quá trình huấn luyện, nhưng tốn kém hơn một chút về mặt tính toán và bộ nhớ.

Lưu ý rằng trong cách triển khai dày đặc của thuật toán này, mg, ms và mom sẽ được cập nhật ngay cả khi grad bằng 0, nhưng trong cách triển khai thưa thớt này, mg, ms và mom sẽ không được cập nhật trong các lần lặp mà grad bằng 0.

bình phương trung bình = suy giảm * bình phương trung bình + (1-suy giảm) * độ dốc ** 2 độ dốc trung bình = suy giảm * độ dốc trung bình + (1-suy giảm) * độ dốc Delta = tốc độ học * độ dốc / sqrt(bình phương trung bình + epsilon - độ dốc trung bình ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

Luận điểm:

• phạm vi: Một đối tượng Phạm vi
• var: Nên được lấy từ một biến Variable().
• mg: Nên lấy từ một biến (Variable).
• ms: Nên lấy từ một biến().
• Mẹ: Nó phải được lấy từ một biến (Variable).
• lr: Hệ số tỷ lệ. Phải là một đại lượng vô hướng.
• rho: Tốc độ phân rã. Phải là một đại lượng vô hướng.
• epsilon: Hệ số đỉnh. Phải là một đại lượng vô hướng.
• grad: Độ dốc.
• chỉ số: Một vectơ các chỉ số vào chiều thứ nhất của var, ms và mom.

Các thuộc tính tùy chọn (xem Attrs ):

• use_locking: Nếu True , việc cập nhật các tensor var, mg, ms và mom được bảo vệ bằng khóa; ngược lại, hành vi không được xác định, nhưng có thể ít xảy ra xung đột hơn.

Trả về:

• Output : Giống như "var".

Thuộc tính công khai

Operation operation

::tensorflow::Output out

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)