tensorflow:: ops:: ApplyRMSProp

RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

সারসংক্ষেপ

উল্লেখ্য যে, এই অ্যালগরিদমের ডেন্স ইমপ্লিমেন্টেশনে, grad শূন্য হলেও ms এবং mom আপডেট হবে, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, যে ইটারেশনগুলোতে grad শূন্য থাকে, সেগুলোতে ms এবং mom আপডেট হবে না।

গড় বর্গ = ক্ষয় * গড় বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 ডেল্টা = শেখার হার * গ্রেডিয়েন্ট / বর্গমূল(গড় বর্গ + এপসিলন)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

যুক্তি:

• স্কোপ: একটি স্কোপ অবজেক্ট
• var: Variable() থেকে আসা উচিত।
• ms: এটি একটি Variable() থেকে হওয়া উচিত।
• mom: একটি Variable() থেকে হওয়া উচিত।
• lr: স্কেলিং ফ্যাক্টর। এটি অবশ্যই একটি স্কেলার হতে হবে।
• রো: ক্ষয়ের হার। অবশ্যই স্কেলার হতে হবে।
• এপসিলন: রিজ টার্ম। অবশ্যই স্কেলার হতে হবে।
• grad: নতিমাত্রা।

ঐচ্ছিক অ্যাট্রিবিউটসমূহ (দেখুন Attrs ):

• use_locking: যদি True , তাহলে var, ms, এবং mom টেনসরগুলোর আপডেট একটি লক দ্বারা সুরক্ষিত থাকে; অন্যথায় এর আচরণ অনির্ধারিত, তবে এতে কনটেনশন কম হতে পারে।

ফেরত:

• Output : "var"-এর অনুরূপ।

জনসাধারণের বৈশিষ্ট্য

Operation operation

::tensorflow::Output out

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)