Glorot

공개 수업 Glorot

Glorot 이니셜라이저는 Xavier 이니셜라이저라고도 합니다.

무작위 분포에서 표본을 추출합니다.

분포가 TRUNCATED_NORMAL인 경우 분포는 stddev = Math.sqrt(2. / (fanIn + fanOut)) 사용하여 0을 중심으로 합니다. 여기서 fanIn 가중치 텐서의 입력 단위 수이고 fanOut 가중치 텐서의 출력 단위 수입니다. 가중치 텐서.

분포가 UNIFORM인 경우 샘플은 [-limit, limit] 내의 균일 분포에서 추출됩니다. 여기서 limit = sqrt(6 / (fanIn + fanOut)) ( fanIn 가중치 텐서의 입력 단위 수이고 fanOut 은 출력 유닛의 수).

예:

글로로트 노멀:

     long seed = 1001l;
     Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.TRUNCATED_NORMAL, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);

글로로트 유니폼:

    long seed = 1001l;
    Glorot<TFloat32, TFloat32> initializer =
             new org.tensorflow.framework.initializers.Glorot<>(tf,
             Distribution.UNIFORM, seed);
     Operand<TFloat32> values =
             initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);

메모:

GlorotNormal과 동등한 초기화의 경우 분포 매개변수에 TRUNCATED_NORMAL 사용합니다.

GlorotUniform 등가 초기화의 경우 분포 매개변수에 UNIFORM 사용합니다.

참조

상수

더블 규모

상속된 상수

상속된 필드

공공 생성자

Glorot (Ops tf, VarianceScaling.Distribution 분포, 긴 시드)
Glorot 초기화 프로그램을 생성합니다.

상속된 메서드

상수

공개 정적 최종 이중 SCALE

상수값: 1.0

공공 생성자

공개 Glorot (Ops tf, VarianceScaling.Distribution 분포, 긴 시드)

Glorot 초기화 프로그램을 생성합니다.

매개변수
tf TensorFlow 작업
분포 Glorot 이니셜라이저의 배포 유형입니다.
씨앗 난수 생성을 위한 시드입니다. 주어진 시드로 생성된 초기화는 항상 주어진 모양과 dtype에 대해 동일한 무작위 텐서를 생성합니다.
참조