VarianceScaling

Initializer สามารถปรับขนาดให้เข้ากับรูปร่างของเทนเซอร์ตุ้มน้ำหนักได้

ด้วย distribution=TRUNCATED_NORMAL or NORMAL ตัวอย่างจะถูกดึงมาจากการแจกแจงแบบปกติที่ถูกตัดทอน/ไม่ถูกตัดทอนโดยมีค่าเฉลี่ยเป็นศูนย์และค่าเบี่ยงเบนมาตรฐาน (หลังการตัดทอน หากใช้) stddev = Math.sqrt(scale / n) โดยที่ n คือ:

• จำนวนหน่วยอินพุตในเทนเซอร์น้ำหนัก ถ้า mode=FAN_IN
• จำนวนหน่วยเอาต์พุต ถ้า mode=FAN_OUT
• ค่าเฉลี่ยของจำนวนหน่วยอินพุตและเอาต์พุต ถ้า mode=FAN_AVG

ด้วย distribution=UNIFORM ตัวอย่างจะถูกดึงมาจากการแจกแจงแบบสม่ำเสมอภายใน [-limit, limit] โดยที่ limit = Math.sqrt(3 * scale / n); .

ตัวอย่าง:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);