@frozen
public struct Dense<Scalar> : Layer where Scalar : TensorFlowFloatingPoint
Gęsto połączona warstwa sieci neuronowej.
Dense
implementuje activation(matmul(input, weight) + bias)
operacji activation(matmul(input, weight) + bias)
, gdzie weight
jest macierzą wagi, bias
jest wektorem odchylenia, a activation
jest elementarną funkcją aktywacji.
Ta warstwa obsługuje również tensory wagi 3-D z matrycami polaryzacji 2-D. W tym przypadku pierwszy wymiar obu jest traktowany jako rozmiar wsadu, który jest wyrównany z pierwszym wymiarem input
i używany jest wariant wsadowy operacji matmul(_:_:)
, co oznacza użycie innej wagi i odchylenia dla każdego elementu w partii wejściowej.
Macierz wag.
Deklaracja
public var weight: Tensor<Scalar>
Wektor odchylenia.
Deklaracja
public var bias: Tensor<Scalar>
Elementowa funkcja aktywacji.
Deklaracja
@noDerivative public let activation: Activation
Tworzy instancję na podstawie podanej wagi, opcjonalnego odchylenia i funkcji aktywacji.
Uwaga
obecnie jedynym parametrem różniczkowalności jestweight
.bias
można uczynić parametrem różniczkowalności po tym, jakOptional
warunkowo jest zgodne zDifferentiable
: TF-499.Deklaracja
@differentiable(wrt: weight) public init( weight: Tensor<Scalar>, bias: Tensor<Scalar>? = nil, activation: @escaping Activation )
Tworzy
Dense
warstwę z określonym rozmiarem wejściowym, rozmiarem wyjściowym i funkcją aktywacji według elementów. Macierz wag jest tworzona za pomocą shape[inputSize, outputSize]
a wektor odchylenia jest tworzony za pomocą shape[outputSize]
.Deklaracja
public init( inputSize: Int, outputSize: Int, activation: @escaping Activation = identity, useBias: Bool = true, weightInitializer: ParameterInitializer<Scalar> = glorotUniform(), biasInitializer: ParameterInitializer<Scalar> = zeros() )
Parametry
inputSize
Wymiarowość przestrzeni wejściowej.
outputSize
Wymiarowość przestrzeni wyjściowej.
activation
Funkcja aktywacji do użycia. Wartością domyślną jest
identity(_:)
.weightInitializer
Inicjator do użycia dla
weight
.biasInitializer
Inicjator do użycia w przypadku
bias
.