SdcaOptimizer

SDCA(Stochastic Dual Coordinate Ascent) 최적화의 분산 버전

L1 + L2 정규화를 사용한 선형 모델. 전역 최적화 목표는 강하게 볼록하므로 최적화 프로그램은 각 단계에서 이중 목표를 최적화합니다. 최적화 프로그램은 각 업데이트를 한 번에 하나씩 적용합니다. 예제는 균일하게 샘플링되며 옵티마이저는 학습률이 없으며 선형 수렴률을 누립니다.

[근위 확률론적 이중 좌표 상승](http://arxiv.org/pdf/1211.2717v1.pdf).
샤이 샬레브-슈워츠, 통 장. 2012

$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$

[분산 원초-이중 최적화의 추가와 평균화](http://arxiv.org/abs/1502.03508).
Chenxin Ma, 버지니아 스미스, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015년

[적응 확률을 이용한 확률적 이중 좌표 상승](https://arxiv.org/abs/1502.08053).
도미닉 치바, 정취, 피터 리치타릭. 2015년