Glorot

Trình khởi tạo Glorot, còn được gọi là trình khởi tạo Xavier.

Lấy mẫu từ một phân phối ngẫu nhiên.

Nếu phân phối là TRUNCATED_NORMAL thì phân phối được tập trung vào 0 với stddev = Math.sqrt(2. / (fanIn + fanOut)) trong đó fanIn là số đơn vị đầu vào trong tensor trọng số và fanOut là số lượng đơn vị đầu ra trong tensor trọng lượng.

Nếu phân phối là UNIFORM thì các mẫu được rút ra từ phân phối đồng nhất trong [-limit, limit] , trong đó limit = sqrt(6 / (fanIn + fanOut)) ( fanIn là số đơn vị đầu vào trong tensor trọng lượng và fanOut là số lượng đơn vị đầu ra).

Ví dụ:

Glorot Bình thường:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

Đồng phục Glorot:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

GHI CHÚ:

Đối với trình khởi tạo tương đương GlorotNormal, hãy sử dụng TRUNCATED_NORMAL cho tham số phân phối.

Đối với trình khởi tạo tương đương GlorotUniform, hãy sử dụng UNIFORM cho tham số phân phối.