tensorflow:: ops:: ApplyCenteredRMSProp

সেন্টার্ড RMSProp অ্যালগরিদম অনুসারে '*var' আপডেট করুন।

সারসংক্ষেপ

সেন্টার্ড RMSProp অ্যালগরিদম নর্মালাইজেশনের জন্য সেন্টার্ড সেকেন্ড মোমেন্টের (অর্থাৎ, ভ্যারিয়েন্সের) একটি অনুমান ব্যবহার করে, যেখানে সাধারণ RMSProp (আনসেন্টার্ড) সেকেন্ড মোমেন্ট ব্যবহার করে। এটি প্রায়শই ট্রেনিং-এর ক্ষেত্রে সহায়ক হয়, কিন্তু কম্পিউটেশন এবং মেমরির দিক থেকে এটি কিছুটা বেশি ব্যয়বহুল।

উল্লেখ্য যে, এই অ্যালগরিদমের ডেন্স ইমপ্লিমেন্টেশনে, গ্রেডিয়েন্ট শূন্য হলেও mg, ms, এবং mom আপডেট হবে, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, যে ইটারেশনগুলোতে গ্রেডিয়েন্ট শূন্য থাকে, সেগুলোতে mg, ms, এবং mom আপডেট হবে না।

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient

ডেল্টা = শেখার হার * গ্রেডিয়েন্ট / বর্গমূল(গড় বর্গ + এপসিলন - গড় গ্রেডিয়েন্ট ** ২)

mg <- rho * mg_{t-1} + (1-rho) * grad ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - mom

যুক্তি:

• স্কোপ: একটি স্কোপ অবজেক্ট
• var: Variable() থেকে আসা উচিত।
• mg: এটি একটি Variable() থেকে আসা উচিত।
• ms: এটি একটি Variable() থেকে হওয়া উচিত।
• mom: একটি Variable() থেকে হওয়া উচিত।
• lr: স্কেলিং ফ্যাক্টর। এটি অবশ্যই একটি স্কেলার হতে হবে।
• রো: ক্ষয়ের হার। অবশ্যই স্কেলার হতে হবে।
• এপসিলন: রিজ টার্ম। অবশ্যই স্কেলার হতে হবে।
• grad: নতিমাত্রা।

ঐচ্ছিক অ্যাট্রিবিউটসমূহ (দেখুন Attrs ):

• use_locking: যদি True , তাহলে var, mg, ms, এবং mom টেনসরগুলোর আপডেট একটি লক দ্বারা সুরক্ষিত থাকে; অন্যথায় এর আচরণ অনির্ধারিত, তবে এতে কনটেনশন কম হতে পারে।

ফেরত:

• Output : "var"-এর অনুরূপ।

জনসাধারণের বৈশিষ্ট্য

Operation operation

::tensorflow::Output out

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyCenteredRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)