เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม RMSProp
สาระสำคัญของ RMSprop คือ:
- รักษาค่าเฉลี่ยเคลื่อนที่ (ลดราคา) ของกำลังสองของการไล่ระดับสี
- หารเกรเดียนต์ด้วยรากของค่าเฉลี่ยนี้
การใช้งาน RMSprop นี้ใช้โมเมนตัมธรรมดา ไม่ใช่โมเมนตัมของ Nesterov
เวอร์ชันที่อยู่กึ่งกลางจะรักษาค่าเฉลี่ยเคลื่อนที่ของการไล่ระดับสีเพิ่มเติม และใช้ค่าเฉลี่ยนั้นเพื่อประมาณค่าความแปรปรวน
ค่าคงที่
บูลีน | ศูนย์กลาง_ค่าเริ่มต้น | |
ลอย | DECAY_DEFAULT | |
ลอย | EPSILON_DEFAULT | |
ลอย | LEARNING_RATE_DEFAULT | |
สตริง | มก | |
สตริง | โมเมนตัม | |
ลอย | โมเมนตัม_ค่าเริ่มต้น | |
สตริง | อาร์เอ็มเอส |
ค่าคงที่ที่สืบทอดมา
สตริง | ตัวแปร_V2 |
คอนสตรัคชั่นสาธารณะ
วิธีการสาธารณะ
สตริง | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
สตริง | toString () |
วิธีการสืบทอด
ปฏิบัติการ | ApplyGradients (รายการ < GradAndVar <? ขยาย TType >> gradsAndVars ชื่อสตริง) ใช้การไล่ระดับสีกับตัวแปร |
<T ขยาย TType > รายการ < GradAndVar <?>> | |
สตริงแบบคงที่ | createName ( เอาต์พุต <? ขยาย TType > ตัวแปร, String slotName) สร้างชื่อโดยรวมชื่อตัวแปรและชื่อสล็อต |
สตริงที่เป็นนามธรรม | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
<T ขยาย TType > ตัวเลือก < ตัวแปร <T>> | |
ปฏิบัติการสุดท้าย | getTF () รับอินสแตนซ์ Ops ของ Optimizer |
ปฏิบัติการ | |
ปฏิบัติการ | ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย ชื่อสตริง) ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร |
บูลีน | เท่ากับ (วัตถุ arg0) |
คลาสสุดท้าย<?> | รับคลาส () |
ภายใน | แฮชโค้ด () |
โมฆะสุดท้าย | แจ้ง () |
โมฆะสุดท้าย | แจ้งทั้งหมด () |
สตริง | toString () |
โมฆะสุดท้าย | รอสักครู่ (ยาว arg0, int arg1) |
โมฆะสุดท้าย | รอ (ยาว arg0) |
โมฆะสุดท้าย | รอ () |
ค่าคงที่
บูลีนสุดท้ายแบบคงที่สาธารณะ CENTERED_DEFAULT
โฟลตสุดท้ายคงสาธารณะ DECAY_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT
MG สตริงสุดท้ายแบบคงที่สาธารณะ
โมเมนตัม สตริงสุดท้ายแบบคงที่สาธารณะ
โฟลตสุดท้ายแบบคงที่สาธารณะ MOMENTUM_DEFAULT
RMS สตริงสุดท้ายแบบคงที่สาธารณะ
คอนสตรัคชั่นสาธารณะ
RMSProp สาธารณะ ( กราฟ กราฟ)
สร้างเครื่องมือเพิ่มประสิทธิภาพ RMSPRrop
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|
RMSProp สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ RMSPRrop
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
RMSProp สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, การสลายตัวแบบลอย, โมเมนตัมแบบลอย, เอปไซลอนแบบลอย, ศูนย์กลางบูลีน)
สร้างเครื่องมือเพิ่มประสิทธิภาพ RMSPRrop
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
การสลายตัว | ปัจจัยส่วนลดสำหรับประวัติ/การไล่ระดับสีที่กำลังจะมาถึง ค่าเริ่มต้นเป็น 0.9 |
โมเมนตัม | ค่าความเร่ง ค่าเริ่มต้นคือ 0 |
เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข |
อยู่ตรงกลาง | หาก true การไล่ระดับสีจะถูกทำให้เป็นมาตรฐานโดยความแปรปรวนโดยประมาณของการไล่ระดับสี ถ้าเป็น false โดยโมเมนต์ที่สองที่ไม่มีศูนย์กลาง การตั้งค่านี้เป็น true อาจช่วยในการฝึกอบรม แต่จะมีราคาแพงกว่าเล็กน้อยในแง่ของการคำนวณและหน่วยความจำ ค่าเริ่มต้นเป็น false |
RMSProp สาธารณะ (กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพ RMSPRrop
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ ค่าเริ่มต้นคือ "RMSProp" |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
RMSProp สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, การสลายตัวแบบลอย, โมเมนตัมแบบลอย, เอปไซลอนแบบลอย, ศูนย์กลางบูลีน)
สร้างเครื่องมือเพิ่มประสิทธิภาพ RMSPRrop
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อของเครื่องมือเพิ่มประสิทธิภาพนี้ ค่าเริ่มต้นคือ "RMSProp" |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
การสลายตัว | ปัจจัยส่วนลดสำหรับประวัติ/การไล่ระดับสีที่กำลังจะมาถึง ค่าเริ่มต้นเป็น 0.9 |
โมเมนตัม | ค่าความเร่ง ค่าเริ่มต้นคือ 0 |
เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข |
อยู่ตรงกลาง | หาก true การไล่ระดับสีจะถูกทำให้เป็นมาตรฐานโดยความแปรปรวนโดยประมาณของการไล่ระดับสี ถ้าเป็น false โดยโมเมนต์ที่สองที่ไม่มีศูนย์กลาง การตั้งค่านี้เป็น true อาจช่วยในการฝึกอบรม แต่จะมีราคาแพงกว่าเล็กน้อยในแง่ของการคำนวณและหน่วยความจำ ค่าเริ่มต้นเป็น false |
วิธีการสาธารณะ
สตริงสาธารณะ getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
การส่งคืน
- ชื่อเครื่องมือเพิ่มประสิทธิภาพ