тензорный поток:: опс:: РазреженныйApplyFtrl
#include <training_ops.h>
Обновите соответствующие записи в '*var' по схеме Ftrl-proximal.
Краткое содержание
То есть для строк, для которых у нас есть град, мы обновляем var, accum и Linear следующим образом:
$$accum_new = accum + grad * grad$$
$$linear += grad + (accum_{new}^{-lr_{power} } - accum^{-lr_{power} } / lr * var$$
$$quadratic = 1.0 / (accum_{new}^{lr_{power} } * lr) + 2 * l2$$
$$var = (sign(linear) * l1 - linear) / quadratic\ if\ |linear| > l1\ else\ 0.0$$
$$accum = accum_{new}$$
Аргументы:
- область: объект области.
- var: Должно быть из переменной().
- accum: Должно быть из переменной().
- линейный: должен быть из переменной().
- град: Градиент.
- индексы: вектор индексов в первом измерении var и accum.
- lr: Коэффициент масштабирования. Должно быть скаляр.
- l1: регуляризация L1. Должно быть скаляр.
- l2: регуляризация L2. Должно быть скаляр.
- lr_power: Коэффициент масштабирования. Должно быть скаляр.
Необязательные атрибуты (см. Attrs
):
- use_locking: если
True
, обновление тензоров var и accum будет защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов.
Возврат:
-
Output
: То же, что и «var».
Конструкторы и деструкторы | |
---|---|
SparseApplyFtrl (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input accum, :: tensorflow::Input linear, :: tensorflow::Input grad, :: tensorflow::Input indices, :: tensorflow::Input lr, :: tensorflow::Input l1, :: tensorflow::Input l2, :: tensorflow::Input lr_power) | |
SparseApplyFtrl (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input accum, :: tensorflow::Input linear, :: tensorflow::Input grad, :: tensorflow::Input indices, :: tensorflow::Input lr, :: tensorflow::Input l1, :: tensorflow::Input l2, :: tensorflow::Input lr_power, const SparseApplyFtrl::Attrs & attrs) |
Публичные атрибуты | |
---|---|
operation | |
out |
Общественные функции | |
---|---|
node () const | ::tensorflow::Node * |
operator::tensorflow::Input () const | |
operator::tensorflow::Output () const |
Публичные статические функции | |
---|---|
MultiplyLinearByLr (bool x) | |
UseLocking (bool x) |
Структуры | |
---|---|
tensorflow::ops::SparseApplyFtrl::Attrs | Необязательные установщики атрибутов для SparseApplyFtrl . |
Публичные атрибуты
операция
Operation operation
вне
::tensorflow::Output out
Общественные функции
РазреженныйApplyFtrl
SparseApplyFtrl( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input accum, ::tensorflow::Input linear, ::tensorflow::Input grad, ::tensorflow::Input indices, ::tensorflow::Input lr, ::tensorflow::Input l1, ::tensorflow::Input l2, ::tensorflow::Input lr_power )
РазреженныйApplyFtrl
SparseApplyFtrl( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input accum, ::tensorflow::Input linear, ::tensorflow::Input grad, ::tensorflow::Input indices, ::tensorflow::Input lr, ::tensorflow::Input l1, ::tensorflow::Input l2, ::tensorflow::Input lr_power, const SparseApplyFtrl::Attrs & attrs )
узел
::tensorflow::Node * node() const
оператор::tensorflow::Input
operator::tensorflow::Input() const
оператор::tensorflow::Выход
operator::tensorflow::Output() const
Публичные статические функции
Умножитьлинейныйполр
Attrs MultiplyLinearByLr( bool x )
Использование блокировки
Attrs UseLocking( bool x )