He

그는 초기화 프로그램입니다.

분포가 TRUNCATED_NORMAL인 경우 stddev = sqrt(2 / fanIn) 사용하여 0 을 중심으로 하는 잘린 정규 분포에서 샘플을 그립니다. 여기서 fanIn 은 가중치 텐서의 입력 단위 수입니다.

분포가 UNIFORM인 경우 [-limit, limit] 내의 균일 분포에서 샘플을 가져옵니다. 여기서 limit = sqrt(6 / fanIn) (fanIn은 가중치 텐서의 입력 단위 수입니다).

예:

He Normal:

     long seed = 1001l;
     He<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.He<>(tf,
             Distribution.TRUNCATED_NORMAL, seed););
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

He 유니폼:

     long seed = 1001l;
     He<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.He<>(tf,
             Distribution.UNIFORM, seed););
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

메모:

HeNormal 등가 초기화의 경우 분포 매개변수에 TRUNCATED_NORMAL 사용합니다.

HeUniform 등가 초기화의 경우 분포 매개변수에 UNIFORM 사용합니다.