Adam

อดัม ชั้นเรียนสาธารณะ

เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึมของ Adam

การปรับให้เหมาะสมของอดัมเป็นวิธีการสุ่มไล่ระดับซึ่งอยู่บนพื้นฐานของการประมาณค่าแบบปรับตัวของโมเมนต์ลำดับที่หนึ่งและลำดับที่สอง

จากข้อมูลของ Kingma et al., 2014 วิธีนี้ "มีประสิทธิภาพในการคำนวณ มีความต้องการหน่วยความจำเพียงเล็กน้อย ไม่แปรผันกับการลดขนาดการไล่ระดับสีในแนวทแยง และเหมาะสำหรับปัญหาที่มีขนาดใหญ่ในแง่ของข้อมูล/พารามิเตอร์"

@see Kingma et al., 2014, Adam: A Method for Stochastic Optimization

ค่าคงที่

ลอย BETA_ONE_DEFAULT
ลอย BETA_TWO_DEFAULT
ลอย EPSILON_DEFAULT
สตริง FIRST_MOMENT
ลอย LEARNING_RATE_DEFAULT
สตริง SECOND_MOMENT

ค่าคงที่ที่สืบทอดมา

org.tensorflow.framework.optimizers.Optimizer
สตริง ตัวแปร_V2

คอนสตรัคชั่นสาธารณะ

อดัม ( กราฟ กราฟ)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

วิธีการสาธารณะ

คงที่ <T ขยาย TType > Op
createAdamMinimize (ขอบเขต ขอบเขต , การสูญเสีย ตัวดำเนินการ <T>, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)
สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
สตริง
getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
สตริง

วิธีการสืบทอด

org.tensorflow.framework.optimizers.Optimizer
ปฏิบัติการ
ApplyGradients (รายการ < GradAndVar <? ขยาย TType >> gradsAndVars ชื่อสตริง)
ใช้การไล่ระดับสีกับตัวแปร
<T ขยาย TType > รายการ < GradAndVar <?>>
computeGradients ( ตัวดำเนินการ <?> สูญเสีย)
คำนวณการไล่ระดับสีตามตัวถูกดำเนินการที่สูญเสีย
สตริงแบบคงที่
createName ( เอาต์พุต <? ขยาย TType > ตัวแปร, String slotName)
สร้างชื่อโดยรวมชื่อตัวแปรและชื่อสล็อต
สตริงที่เป็นนามธรรม
getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
<T ขยาย TType > ตัวเลือก < ตัวแปร <T>>
getSlot ( เอาต์พุต <T> var, String slotName)
รับช่องที่เกี่ยวข้องกับตัวแปรและชื่อช่องที่ระบุ
ปฏิบัติการสุดท้าย
getTF ()
รับอินสแตนซ์ Ops ของ Optimizer
ปฏิบัติการ
ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย)
ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร
ปฏิบัติการ
ย่อเล็กสุด ( ตัวดำเนินการ <?> การสูญเสีย ชื่อสตริง)
ลดการสูญเสียให้เหลือน้อยที่สุดด้วยการอัพเดตตัวแปร
บูลีน
เท่ากับ (วัตถุ arg0)
คลาสสุดท้าย<?>
รับคลาส ()
ภายใน
แฮชโค้ด ()
โมฆะสุดท้าย
แจ้ง ()
โมฆะสุดท้าย
แจ้งทั้งหมด ()
สตริง
toString ()
โมฆะสุดท้าย
รอสักครู่ (ยาว arg0, int arg1)
โมฆะสุดท้าย
รอ (ยาว arg0)
โมฆะสุดท้าย
รอ ()

ค่าคงที่

โฟลตสุดท้ายแบบคงที่สาธารณะ BETA_ONE_DEFAULT

ค่าคงที่: 0.9

โฟลตสุดท้ายคงสาธารณะ BETA_TWO_DEFAULT

ค่าคงที่: 0.999

โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT

ค่าคงที่: 1.0E-8

สตริงสุดท้ายแบบคงที่สาธารณะ FIRST_MOMENT

ค่าคงที่: "m"

โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT

ค่าคงที่: 0.001

สตริงสุดท้ายแบบคงที่สาธารณะ SECOND_MOMENT

ค่าคงที่: "v"

คอนสตรัคชั่นสาธารณะ

อดัม สาธารณะ ( กราฟ กราฟ)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow

อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
อัตราการเรียนรู้ อัตราการเรียนรู้

อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9
เบต้าทู อัตราการสลายตัวแบบเอ็กซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8

อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
ชื่อ ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม"
อัตราการเรียนรู้ อัตราการเรียนรู้

อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
ชื่อ ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม"
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9
เบต้าทู อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8

วิธีการสาธารณะ

Op createAdamMinimize แบบ คงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <T> การสูญเสีย, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)

สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด

พารามิเตอร์
ขอบเขต ขอบเขต TensorFlow
การสูญเสีย การสูญเสียเพื่อลดให้เหลือน้อยที่สุด
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1
เบต้าทู อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ
ตัวเลือก คุณลักษณะของเครื่องมือเพิ่มประสิทธิภาพทางเลือก
การส่งคืน
  • การดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าขอบเขตไม่ได้แสดงถึงกราฟ

สตริงสาธารณะ getOptimizerName ()

รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ

การส่งคืน
  • ชื่อเครื่องมือเพิ่มประสิทธิภาพ

สตริงสาธารณะ toString ()