AdaGradDA

অপ্টিমাইজার যা অ্যাডাগ্রাড ডুয়াল-অ্যাভারেজিং অ্যালগরিদম প্রয়োগ করে৷

এই অপ্টিমাইজারটি একটি মিনি ব্যাচে অদেখা বৈশিষ্ট্যগুলির নিয়মিতকরণের যত্ন নেয় যখন সেগুলিকে একটি বন্ধ ফর্ম আপডেট নিয়মের সাথে দেখা যায় যা প্রতিটি মিনি-ব্যাচে তাদের আপডেট করার সমতুল্য।

AdagradDA সাধারণত ব্যবহৃত হয় যখন প্রশিক্ষিত মডেলে বড় স্পর্সিটির প্রয়োজন হয়। এই অপ্টিমাইজার শুধুমাত্র রৈখিক মডেলের জন্য স্পার্সিটির গ্যারান্টি দেয়। গভীর নেটওয়ার্কগুলির জন্য AdagradDA ব্যবহার করার সময় সতর্কতা অবলম্বন করুন কারণ এটিকে প্রশিক্ষণের জন্য গ্রেডিয়েন্ট অ্যাকুমুলেটরগুলির সাবধানে শুরু করতে হবে।