общественный класс Адам
Оптимизатор, реализующий алгоритм Адама.
Оптимизация Адама — это метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядка.
По словам Кингмы и др., 2014, этот метод «вычислительно эффективен, требует мало памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач, больших по объему данных/параметров».
@see Kingma et al., 2014, Адам: метод стохастической оптимизации .
Константы
| плавать | BETA_ONE_DEFAULT | |
| плавать | BETA_TWO_DEFAULT | |
| плавать | EPSILON_DEFAULT | |
| Нить | FIRST_MOMENT | |
| плавать | LEARNING_RATE_DEFAULT | |
| Нить | SECOND_MOMENT |
Унаследованные константы
Публичные конструкторы
Публичные методы
| статический <T расширяет TType > Op | createAdamMinimize (область видимости , потеря операнда <T>, float LearningRate, float betaOne, float betaTwo, float epsilon, параметры... опции) Создает операцию, которая минимизирует потери |
| Нить | getOptimizerName () Получите имя оптимизатора. |
| Нить | нанизывать () |
Унаследованные методы
Константы
общедоступный статический финальный float BETA_ONE_DEFAULT
Постоянное значение: 0,9
общедоступный статический финальный float BETA_TWO_DEFAULT
Постоянное значение: 0,999
общедоступный статический финальный float EPSILON_DEFAULT
Постоянное значение: 1.0E-8
общедоступная статическая финальная строка FIRST_MOMENT
Постоянное значение: «м»
общедоступный статический финальный плавающий элемент LEARNING_RATE_DEFAULT
Постоянное значение: 0,001
общедоступная статическая финальная строка SECOND_MOMENT
Постоянное значение: «v»
Публичные конструкторы
публичный Адам ( график , float LearningRate)
Создает оптимизатор Адама
Параметры
| график | график TensorFlow |
|---|---|
| Скорость обучения | скорость обучения |
публичный Адам (график графика , float LearningRate, float betaOne, float betaTwo, float epsilon)
Создает оптимизатор Адама
Параметры
| график | график TensorFlow |
|---|---|
| Скорость обучения | скорость обучения |
| бетаУан | Скорость экспоненциального убывания для оценок первого момента. По умолчанию 0,9. |
| betaTwo | Скорость экспоненциального убывания для оценок второго момента. По умолчанию 0,999. |
| эпсилон | Небольшая константа для численной стабильности. Этот эпсилон является «эпсилон-шляпой» в статье Кингмы и Ба (в формуле перед разделом 2.1), а не эпсилоном в алгоритме 1 статьи. По умолчанию 1e-8. |
общедоступный Адам (график графика , имя строки, скорость обучения с плавающей запятой)
Создает оптимизатор Адама
Параметры
| график | график TensorFlow |
|---|---|
| имя | имя оптимизатора, по умолчанию «Адам». |
| Скорость обучения | скорость обучения |
общедоступный Адам (график графика , имя строки, float LearningRate, float betaOne, float betaTwo, float epsilon)
Создает оптимизатор Адама
Параметры
| график | график TensorFlow |
|---|---|
| имя | имя оптимизатора, по умолчанию «Адам». |
| Скорость обучения | скорость обучения |
| бетаУан | Скорость экспоненциального убывания для оценок первого момента. По умолчанию 0,9. |
| betaTwo | Скорость экспоненциального убывания для оценок второго момента. По умолчанию 0,999. |
| эпсилон | Небольшая константа для численной стабильности. Этот эпсилон является «эпсилон-шляпой» в статье Кингмы и Ба (в формуле перед разделом 2.1), а не эпсилоном в алгоритме 1 статьи. По умолчанию 1e-8. |
Публичные методы
public static Op createAdamMinimize (область видимости , потеря операнда <T>, float LearningRate, float betaOne, float betaTwo, float epsilon, параметры ... )
Создает операцию, которая минимизирует потери
Параметры
| объем | область действия TensorFlow |
|---|---|
| потеря | потери минимизировать |
| Скорость обучения | скорость обучения |
| бетаУан | Скорость экспоненциального убывания для оценок первого момента. |
| betaTwo | Скорость экспоненциального убывания для оценок второго момента. |
| эпсилон | Небольшая константа для численной стабильности. Этот эпсилон является «эпсилон-шляпой» в статье Кингмы и Ба (в формуле перед разделом 2.1), а не эпсилоном в алгоритме 1 статьи. |
| параметры | Дополнительные атрибуты оптимизатора |
Возврат
- Операция, минимизирующая потери
Броски
| IllegalArgumentException | если область действия не представляет собой график |
|---|
общедоступная строка getOptimizerName ()
Получите имя оптимизатора.
Возврат
- Имя оптимизатора.