public struct ParameterGroupOptimizerBuilder
Membangun ParameterGroupOptimizer
. Ini pada dasarnya digunakan pada level bobot tunggal dalam model. Pemetaan dari grup parameter yang dipilih oleh ( [Bool]
ke ParameterGroupOptimizer) menentukan pengoptimal akhir.
Pernyataan
public init()
Pernyataan
public mutating mutating func makeParameter(_ name: String, _ value: Float) -> GlobalAccessor
Pernyataan
public subscript(global: GlobalAccessor) -> Float { get }
Pernyataan
public subscript(state name: String) -> StateAccessor { mutating get }
Pernyataan
public subscript(local name: String) -> LocalAccessor { mutating get }
Menambahkan panggilan balik ke daftar panggilan balik.
Pernyataan
public mutating mutating func appendCallback(_ cb: @escaping OptimizerCallback)
Mengembalikan pengoptimal dan menghapus pembuat.
Pernyataan
public mutating mutating func makeOptimizer() -> ParameterGroupOptimizer
Menerapkan sgdStep dengan momentum ke pengoptimalan grup parameter saat ini.
Pernyataan
public mutating func sgdStep( nesterov: Bool, mom: GlobalAccessor, lr: GlobalAccessor, velocity: StateAccessor )
Menghitung clippedTrustRatio (digunakan di LARS).
Pernyataan
public mutating func clippedTrustRatio( trustCoefficient: GlobalAccessor, epsilon: GlobalAccessor, weightDecay: GlobalAccessor ) -> LocalAccessor
Menskalakan gradien dengan trustRatio (digunakan di LARS).
Pernyataan
public mutating mutating func scaleGradByTrustRatio(trustRatio: LocalAccessor)
Menerapkan penskalaan peluruhan bobot ke gradien.
Pernyataan
public mutating mutating func scaleGradient(byWeightDecay weightDecay: GlobalAccessor)
Menghitung ulang parameter kecepatan berdasarkan gradien baru (diskalakan berdasarkan kecepatan pemelajaran).
Pernyataan
public mutating func updateVelocity( mom: GlobalAccessor, lr: GlobalAccessor, velocity: StateAccessor )