SELU

স্কেলড এক্সপোনেনশিয়াল লিনিয়ার ইউনিট (SELU)।

স্কেলড এক্সপোনেনশিয়াল লিনিয়ার ইউনিট (SELU) অ্যাক্টিভেশন ফাংশনটি সংজ্ঞায়িত করা হয়েছে:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

যেখানে alpha এবং scale পূর্ব-নির্ধারিত ধ্রুবক ( alpha=1.67326324 এবং scale=1.05070098 )।

মূলত, SELU অ্যাক্টিভেশন ফাংশন ইলু ফাংশনের আউটপুটের সাথে scale (> 1) গুণ করে যাতে ইতিবাচক ইনপুটগুলির জন্য একটির চেয়ে বড় ঢাল নিশ্চিত করা যায়।

alpha এবং scale মানগুলি বেছে নেওয়া হয়েছে যাতে ইনপুটগুলির গড় এবং পার্থক্য দুটি পরপর স্তরের মধ্যে সংরক্ষিত থাকে যতক্ষণ না ওজন সঠিকভাবে শুরু হয় (সাধারণ বন্টনের সাথে LeCun দেখুন) এবং ইনপুট ইউনিটের সংখ্যা "যথেষ্ট বড়"

দ্রষ্টব্য: সাধারণ বিতরণ সহ LeCun ইনিশিয়ালাইজারের সাথে একসাথে ব্যবহার করতে হবে।