Предупреждение: этот проект устарел. Swift для TensorFlow был экспериментом с платформой нового поколения для машинного обучения, включающей в себя последние исследования в области машинного обучения, компиляторов, дифференцируемого программирования, проектирования систем и многого другого. Он был заархивирован в феврале 2021 года.

Эта страница переведена с помощью Cloud Translation API.

сингапурский доллар

public class SGD<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Оптимизатор стохастического градиентного спуска (SGD).

Реализует алгоритм стохастического градиентного спуска с поддержкой импульса, затухания скорости обучения и импульса Нестерова. Импульс и импульс Нестерова (также известный как метод ускоренного градиента Нестерова) — это методы оптимизации первого порядка, которые могут улучшить скорость обучения и скорость сходимости градиентного спуска.

Использованная литература:

«Метод стохастической аппроксимации» (Роббинс и Монро, 1951 г.)
«О методе стохастической аппроксимации Роббинса и Монро» (Вольфовиц, 1952 г.)
«Стохастическая оценка максимума функции регрессии» (Кифер и Вулфовиц, 1952 г.)
«Некоторые способы ускорения сходимости итерационного метода» (Поляк, 1964)
«Метод безусловной задачи выпуклой минимизации со скоростью сходимости» (Нестеров, 1983)

Модель
Декларация
public typealias Model = Model
Скорость обучения
Скорость обучения.
Декларация
public var learningRate: Float
импульс
Фактор импульса. Он ускоряет стохастический градиентный спуск в соответствующем направлении и гасит колебания.
Декларация
public var momentum: Float
разлагаться
Скорость обучения снижается.
Декларация
public var decay: Float
Нестеров
Используйте импульс Нестерова, если это правда.
Декларация
public var nesterov: Bool
скорость
Скоростное состояние модели.
Декларация
public var velocity: Model.TangentVector
шаг
Набор предпринятых шагов.
Декларация
public var step: Int

init(for:learningRate:momentum:decay:nesterov:)

Создает экземпляр для model .

Декларация

public init(
  for model: __shared Model,
  learningRate: Float = 0.01,
  momentum: Float = 0,
  decay: Float = 0,
  nesterov: Bool = false
)

Параметры

`learningRate`	Скорость обучения. Значение по умолчанию — `0.01` .
`momentum`	Фактор импульса, который ускоряет стохастический градиентный спуск в соответствующем направлении и гасит колебания. Значение по умолчанию — `0` .
`decay`	Скорость обучения снижается. Значение по умолчанию — `0` .
`nesterov`	Используйте импульс Нестерова, если это `true` . Значение по умолчанию `true` .

обновление (_: вместе:)

Декларация

public func update(_ model: inout Model, along direction: Model.TangentVector)

init(копирование:в:)

Декларация

public required init(copying other: SGD, to device: Device)