AdaGradDA

ऑप्टिमाइज़र जो एडाग्रेड डुअल-एवरेजिंग एल्गोरिदम को लागू करता है।

यह ऑप्टिमाइज़र एक मिनी बैच में अनदेखी सुविधाओं को बंद फॉर्म अपडेट नियम के साथ देखे जाने पर उन्हें अपडेट करके नियमित करने का ख्याल रखता है जो उन्हें हर मिनी-बैच पर अपडेट करने के बराबर है।

AdagradDA का उपयोग आम तौर पर तब किया जाता है जब प्रशिक्षित मॉडल में बड़ी विरलता की आवश्यकता होती है। यह अनुकूलक केवल रैखिक मॉडलों के लिए विरलता की गारंटी देता है। गहरे नेटवर्क के लिए AdagradDA का उपयोग करते समय सावधान रहें क्योंकि इसे प्रशिक्षित करने के लिए ग्रेडिएंट एक्युमुलेटर की सावधानीपूर्वक शुरुआत की आवश्यकता होगी।