VarianceScaling

Inicjator potrafiący dostosować swoją skalę do kształtu tensorów wag.

W przypadku distribution=TRUNCATED_NORMAL or NORMAL próbki są pobierane z obciętego/nieobciętego rozkładu normalnego ze średnią wynoszącą zero i odchyleniem standardowym (po obcięciu, jeśli jest stosowane) stddev = Math.sqrt(scale / n) , gdzie n wynosi:

• liczba jednostek wejściowych w tensorze wagi, jeśli mode=FAN_IN
• liczba jednostek wyjściowych, jeśli mode=FAN_OUT
• średnia z liczby jednostek wejściowych i wyjściowych, jeśli mode=FAN_AVG

W przypadku distribution=UNIFORM próbki są pobierane z rozkładu jednolitego w granicach [-limit, limit] , gdzie limit = Math.sqrt(3 * scale / n); .

Przykłady:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);