tensorflow::ops::SparseApplyProximalAdagrad
#include <training_ops.h>รายการอัปเดตแบบกระจัดกระจายใน '*var' และ '*accum' ตามอัลกอริทึม FOBOS
สรุป
สำหรับแถวที่เรามีค่า grad เราจะอัปเดตค่า var และ accum ดังนี้:
$$accum += grad * grad$$
$$prox_v = var$$
$$prox_v -= lr * grad * (1 / sqrt(accum))$$
$$var = sign(prox_v)/(1+lr*l2) * max{|prox_v|-lr*l1,0}$$
ข้อโต้แย้ง:
- ขอบเขต: วัตถุ ขอบเขต
- var: ควรมาจาก Variable()
- accum: ควรมาจาก Variable()
- lr: อัตราการเรียนรู้ ต้องเป็นค่าคงที่ (scalar)
- l1: การปรับค่า L1 ต้องเป็นค่าสเกลาร์
- l2: การปรับค่า L2 ต้องเป็นค่าสเกลาร์
- grad: ค่าความชัน
- ดัชนี: เวกเตอร์ของดัชนีในมิติแรกของ var และ accum
คุณลักษณะเสริม (ดูที่ Attrs ):
- use_locking: หากตั้งค่าเป็น True การอัปเดตเทนเซอร์ var และ accum จะได้รับการป้องกันด้วยการล็อก มิเช่นนั้นพฤติกรรมจะไม่แน่นอน แต่การแย่งชิงทรัพยากรอาจน้อยลง
การส่งคืนสินค้า:
-
Output: เหมือนกับ "var"
ตัวสร้างและตัวทำลาย | |
|---|---|
SparseApplyProximalAdagrad (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input accum, :: tensorflow::Input lr, :: tensorflow::Input l1, :: tensorflow::Input l2, :: tensorflow::Input grad, :: tensorflow::Input indices) | |
SparseApplyProximalAdagrad (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input accum, :: tensorflow::Input lr, :: tensorflow::Input l1, :: tensorflow::Input l2, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyProximalAdagrad::Attrs & attrs) |
คุณลักษณะสาธารณะ | |
|---|---|
operation | |
out | |
หน้าที่สาธารณะ | |
|---|---|
node () const | ::tensorflow::Node * |
operator::tensorflow::Input () const | |
operator::tensorflow::Output () const | |
ฟังก์ชันคงที่สาธารณะ | |
|---|---|
UseLocking (bool x) | |
โครงสร้าง | |
|---|---|
| tensorflow::ops::SparseApplyProximalAdagrad::Attrs | ตัวเลือกการตั้งค่าแอตทริบิวต์สำหรับ SparseApplyProximalAdagrad |
คุณลักษณะสาธารณะ
การดำเนินการ
Operation operation
ออก
::tensorflow::Output out
หน้าที่สาธารณะ
SparseApplyProximalAdagrad
SparseApplyProximalAdagrad( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input accum, ::tensorflow::Input lr, ::tensorflow::Input l1, ::tensorflow::Input l2, ::tensorflow::Input grad, ::tensorflow::Input indices )
SparseApplyProximalAdagrad
SparseApplyProximalAdagrad( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input accum, ::tensorflow::Input lr, ::tensorflow::Input l1, ::tensorflow::Input l2, ::tensorflow::Input grad, ::tensorflow::Input indices, const SparseApplyProximalAdagrad::Attrs & attrs )
โหนด
::tensorflow::Node * node() const
ตัวดำเนินการ::เทนเซอร์โฟลว์::อินพุต
operator::tensorflow::Input() const
ตัวดำเนินการ::เทนเซอร์โฟลว์::เอาต์พุต
operator::tensorflow::Output() const
ฟังก์ชันคงที่สาธารณะ
ใช้การล็อก
Attrs UseLocking( bool x )