tensorflow::ops::SparseApplyRMSProp

Cập nhật '*var' theo thuật toán RMSProp.

Bản tóm tắt

Lưu ý rằng trong cách triển khai dày đặc của thuật toán này, ms và mom sẽ được cập nhật ngay cả khi grad bằng 0, nhưng trong cách triển khai thưa thớt này, ms và mom sẽ không được cập nhật trong các lần lặp mà grad bằng 0.

bình phương trung bình = suy giảm * bình phương trung bình + (1-suy giảm) * độ dốc ** 2 Delta = tốc độ học * độ dốc / căn bậc hai của bình phương trung bình + epsilon

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

Luận điểm:

• phạm vi: Một đối tượng Phạm vi
• var: Nên được lấy từ một biến Variable().
• ms: Nên lấy từ một biến().
• Mẹ: Nó phải được lấy từ một biến (Variable).
• lr: Hệ số tỷ lệ. Phải là một đại lượng vô hướng.
• rho: Tốc độ phân rã. Phải là một đại lượng vô hướng.
• epsilon: Hệ số đỉnh. Phải là một đại lượng vô hướng.
• grad: Độ dốc.
• chỉ số: Một vectơ các chỉ số vào chiều thứ nhất của var, ms và mom.

Các thuộc tính tùy chọn (xem Attrs ):

• use_locking: Nếu True , việc cập nhật các tensor var, ms và mom được bảo vệ bằng khóa; ngược lại, hành vi không được xác định, nhưng có thể ít xảy ra xung đột hơn.

Trả về:

• Output : Giống như "var".

Thuộc tính công khai

Operation operation

::tensorflow::Output out

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)