Glorot

Glorot 이니셜라이저는 Xavier 이니셜라이저라고도 합니다.

무작위 분포에서 표본을 추출합니다.

분포가 TRUNCATED_NORMAL인 경우 분포 stddev = Math.sqrt(2. / (fanIn + fanOut)) 사용하여 0을 중심으로 합니다. 여기서 fanIn 은 가중치 텐서의 입력 단위 수이고 fanOut 은 가중치 텐서의 출력 단위 수입니다. 가중치 텐서.

분포가 UNIFORM인 경우 샘플은 [-limit, limit] 내의 균일 분포에서 추출됩니다. 여기서 limit = sqrt(6 / (fanIn + fanOut)) ( fanIn 은 가중치 텐서의 입력 단위 수이고 fanOut 은 출력 유닛의 수).

예:

Glorot Normal:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

Glorot 유니폼:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

메모:

GlorotNormal과 동등한 초기화의 경우 분포 매개변수에 TRUNCATED_NORMAL 사용합니다.

GlorotUniform 등가 초기화의 경우 분포 매개변수에 UNIFORM 사용합니다.