Glorot

אתחול Glorot, הנקרא גם Xavier initializer.

שואב מדגמים מהתפלגות אקראית.

אם ההתפלגות היא TRUNCATED_NORMAL, אז ההתפלגות ממוקדת על 0 עם stddev = Math.sqrt(2. / (fanIn + fanOut)) כאשר fanIn הוא מספר יחידות הקלט בטנזור המשקל ו- fanOut הוא מספר יחידות הפלט ב טנסור המשקל.

אם ההתפלגות היא UNIFORM, הדגימות נלקחות מהתפלגות אחידה בתוך [-limit, limit] , כאשר limit = sqrt(6 / (fanIn + fanOut)) ( fanIn הוא מספר יחידות הקלט בטנזור המשקל ו- fanOut הוא מספר יחידות הפלט).

דוגמאות:

גלורוט רגיל:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

מדים של גלורות:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

פֶּתֶק:

עבור אתחול המקביל של GlorotNormal, השתמש ב- TRUNCATED_NORMAL עבור פרמטר ההפצה.

עבור אתחול המקביל של GlorotUniform, השתמש ב- UNIFORM עבור פרמטר ההפצה.