He

เขาเริ่มต้น

หากการกระจายเป็น TRUNCATED_NORMAL มันจะดึงตัวอย่างจากการแจกแจงแบบปกติที่ถูกตัดทอนโดยมีศูนย์กลางอยู่ที่ 0 โดยมี stddev = sqrt(2 / fanIn) โดยที่ fanIn คือจำนวนหน่วยอินพุตในเทนเซอร์น้ำหนัก

หากการแจกแจงเป็นแบบ UNIFORM มันจะดึงตัวอย่างจากการแจกแจงแบบสม่ำเสมอภายใน [-limit, limit] โดยที่ limit = sqrt(6 / fanIn) (fanIn คือจำนวนหน่วยอินพุตในเทนเซอร์น้ำหนัก)

ตัวอย่าง:

ปกติ:

     long seed = 1001l;
     He<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.He<>(tf,
             Distribution.TRUNCATED_NORMAL, seed););
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

เขาเครื่องแบบ:

     long seed = 1001l;
     He<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.He<>(tf,
             Distribution.UNIFORM, seed););
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

บันทึก:

สำหรับตัวเริ่มต้นที่เทียบเท่ากับ HeNormal ให้ใช้ TRUNCATED_NORMAL สำหรับพารามิเตอร์การกระจาย

สำหรับตัวเริ่มต้นที่เทียบเท่ากับ HeUniform ให้ใช้ UNIFORM สำหรับพารามิเตอร์การแจกแจง