GénéralOptimiseur

public class GeneralOptimizer<Model: EuclideanDifferentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Optimiseur général qui doit être capable d'exprimer plusieurs optimisations possibles. L'optimiseur est composé d'un mappage de ParameterGroup vers ParameterGroupOptimizer. Cet optimiseur contient également le nombre d'éléments travaillant dans une somme de répliques croisées. C'est pour des raisons d'efficacité afin d'éviter plusieurs itérations inefficaces sur le dégradé.

  • Déclaration

    public typealias Model = Model

  • L’ensemble des mesures prises.

    Déclaration

    public var step: Int

  • Utilisé pour déterminer le facteur d’échelle de la somme des répliques croisées.

    Déclaration

    public var crossReplicaSumCount: Int?

  • état global de l’optimiseur.

    Déclaration

    public var optimizerState: OptimizerState

  • Appareil actuel du modèle. (Utilisé pour construire des hyperparamètres)

    Déclaration

    public var device: Device

  • Un tableau mappant des indices de poids imbriqués à des optimiseurs de groupes de paramètres ? Le poids i sera optimisé par parameterGroups[parameterGroupIndices[i]]

    Déclaration

    public var parameterGroupIndices: [Int]

  • Un tableau d’optimiseurs de groupes de paramètres.

    Déclaration

    public var parameterGroups: [ParameterGroupOptimizer]

  • Taux d'apprentissage global de l'optimiseur.

    Déclaration

    public var learningRate: Float { get set }

  • Taux d'apprentissage de l'optimiseur de groupe par paramètre.

    Déclaration

    public var learningRates: [Float] { get set }

  • Construit un optimiseur à partir d'une liste d'optimiseurs de groupes de paramètres et d'un sélecteur qui divise les poids en différents groupes de paramètres. Il s’agit du constructeur le plus général car il existe de nombreuses façons de construire ce vecteur sélecteur.

    Déclaration

    public init(
  for model: __shared Model,
  _ kpPlan: TensorVisitorPlan<Model.TangentVector>,
  parameterGroupIndices: [Int],
  parameterGroups: [ParameterGroupOptimizer]
)

  • Construit un optimiseur à partir d'une séquence d'optimiseurs de groupe par paramètre, puis un optimiseur final de groupe de paramètres par défaut. Le tableau [Bool] est par poids et est vrai pour les poids de ce groupe de paramètres. Le premier groupe de paramètres sera utilisé par rapport aux suivants.

    Déclaration

    public convenience init(
  for model: __shared Model,
  _ kpPlan: TensorVisitorPlan<Model.TangentVector>,
  parameterGroups: ([Bool], ParameterGroupOptimizer)...,
  defaultOptimizer: ParameterGroupOptimizer
)

  • L’étape réelle de l’optimiseur. Cartographie tous les tenseurs du gradient et applique les optimiseurs par poids définis par ParameterGroupOptimizer.

    Déclaration

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • Copie l'optimiseur sur le périphérique spécifié.

    Déclaration

    public required init(copying other: GeneralOptimizer, to device: Device)