Glorot

Инициализатор Glorot, также называемый инициализатором Xavier.

Рисует образцы из случайного распределения.

Если распределение TRUNCATED_NORMAL, то распределение центрируется на 0 с помощью stddev = Math.sqrt(2. / (fanIn + fanOut)) где fanIn — это количество входных единиц в тензоре веса, а fanOut — это количество выходных единиц в весовой тензор.

Если распределение UNIFORM, то выборки берутся из равномерного распределения в пределах [-limit, limit] , где limit = sqrt(6 / (fanIn + fanOut)) ( fanIn — это количество входных единиц в весовом тензоре, а fanOut — это количество выходных единиц).

Примеры:

Глорот Нормальный:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

Униформа Глорота:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

ПРИМЕЧАНИЕ:

Для эквивалентного инициализатора GlorotNormal используйте TRUNCATED_NORMAL в качестве параметра распределения.

Для эквивалентного инициализатора GlorotUniform используйте UNIFORM в качестве параметра распределения.