Glorot

Inicjator Glorot, zwany także inicjatorem Xaviera.

Rysuje próbki z rozkładu losowego.

Jeśli rozkład wynosi TRUNCATED_NORMAL, wówczas rozkład jest wyśrodkowany na 0 przy stddev = Math.sqrt(2. / (fanIn + fanOut)) gdzie fanIn to liczba jednostek wejściowych w tensorze wagi, a fanOut to liczba jednostek wyjściowych w tensor wagi.

Jeśli rozkład jest JEDNOSTKOWY, próbki są pobierane z rozkładu jednolitego w granicach [-limit, limit] , gdzie limit = sqrt(6 / (fanIn + fanOut)) ( fanIn to liczba jednostek wejściowych w tensorze wagi, a fanOut to liczba jednostek wyjściowych).

Przykłady:

Glorot Normalny:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

Mundur Glorota:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

NOTATKA:

W przypadku inicjatora równoważnego GlorotNormal użyj TRUNCATED_NORMAL dla parametru dystrybucji.

W przypadku inicjatora równoważnego GlorotUniform użyj UNIFORM dla parametru dystrybucji.