AdaDelta

public class AdaDelta<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Um otimizador AdaDelta.

Implementa o algoritmo de otimização AdaDelta. AdaDelta é um método estocástico de descida gradiente baseado em informações de primeira ordem. Ele adapta as taxas de aprendizagem com base em uma janela móvel de atualizações de gradiente, em vez de acumular todos os gradientes anteriores. Assim, o AdaDelta continua aprendendo mesmo depois de muitas atualizações terem sido feitas. Ele se adapta mais rapidamente às mudanças na dinâmica do espaço do problema de otimização.

Referência: “ADADELTA: Um método de taxa de aprendizagem adaptativa” (Zeiler, 2012)

  • Declaração

    public typealias Model = Model

  • A taxa de aprendizagem.

    Declaração

    public var learningRate: Float
  • ró

    O fator de decaimento, correspondente à fração do gradiente a ser mantida em cada intervalo de tempo.

    Declaração

    public var rho: Float

  • Um pequeno escalar adicionado ao denominador para melhorar a estabilidade numérica.

    Declaração

    public var epsilon: Float

  • A queda da taxa de aprendizagem.

    Declaração

    public var decay: Float

  • A etapa atual.

    Declaração

    public var step: Int

  • A média acumulada e em declínio exponencial de gradientes quadrados.

    Declaração

    public var averageSquared: Model.TangentVector

  • O parâmetro acumulado é atualizado.

    Declaração

    public var accumulatedDelta: Model.TangentVector

  • Cria uma instância para model .

    Declaração

    public init(
  for model: __shared Model,
  learningRate: Float = 1,
  rho: Float = 0.95,
  epsilon: Float = 1e-6,
  decay: Float = 0
)

    Parâmetros

    learningRate

    A taxa de aprendizagem. O valor padrão é 1 .

    rho

    O fator de decadência. O valor padrão é 0.95 .

    epsilon

    Um pequeno escalar adicionado ao denominador para melhorar a estabilidade numérica. O valor padrão é 1e-6 .

    decay

    A queda da taxa de aprendizagem. O valor padrão é 0 .

  • Declaração

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • Declaração

    public required init(copying other: AdaDelta, to device: Device)