tensorflow:: ops:: SparseApplyCenteredRMSProp

#include <training_ops.h>

সেন্টার্ড RMSProp অ্যালগরিদম অনুসারে '*var' আপডেট করুন।

সারসংক্ষেপ

সেন্টার্ড RMSProp অ্যালগরিদম নর্মালাইজেশনের জন্য সেন্টার্ড সেকেন্ড মোমেন্টের (অর্থাৎ, ভ্যারিয়েন্সের) একটি অনুমান ব্যবহার করে, যেখানে সাধারণ RMSProp (আনসেন্টার্ড) সেকেন্ড মোমেন্ট ব্যবহার করে। এটি প্রায়শই ট্রেনিং-এর ক্ষেত্রে সহায়ক হয়, কিন্তু কম্পিউটেশন এবং মেমরির দিক থেকে এটি কিছুটা বেশি ব্যয়বহুল।

উল্লেখ্য যে, এই অ্যালগরিদমের ডেন্স ইমপ্লিমেন্টেশনে, গ্রেডিয়েন্ট শূন্য হলেও mg, ms, এবং mom আপডেট হবে, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, যে ইটারেশনগুলোতে গ্রেডিয়েন্ট শূন্য থাকে, সেগুলোতে mg, ms, এবং mom আপডেট হবে না।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (১-ক্ষয়) * গ্রেডিয়েন্ট ** ২ গড়_গ্রেড = ক্ষয় * গড়_গ্রেড + (১-ক্ষয়) * গ্রেডিয়েন্ট ডেল্টা = শেখার_হার * গ্রেডিয়েন্ট / বর্গমূল(গড়_বর্গ + এপসিলন - গড়_গ্রেড ** ২)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

যুক্তি:

  • স্কোপ: একটি স্কোপ অবজেক্ট
  • var: Variable() থেকে আসা উচিত।
  • mg: এটি একটি Variable() থেকে আসা উচিত।
  • ms: এটি একটি Variable() থেকে হওয়া উচিত।
  • mom: একটি Variable() থেকে হওয়া উচিত।
  • lr: স্কেলিং ফ্যাক্টর। এটি অবশ্যই একটি স্কেলার হতে হবে।
  • রো: ক্ষয়ের হার। অবশ্যই স্কেলার হতে হবে।
  • এপসিলন: রিজ টার্ম। অবশ্যই স্কেলার হতে হবে।
  • grad: নতিমাত্রা।
  • indices: var, ms এবং mom-এর প্রথম ডাইমেনশনের সূচকসমূহের একটি ভেক্টর।

ঐচ্ছিক অ্যাট্রিবিউটসমূহ (দেখুন Attrs ):

  • use_locking: যদি True , তাহলে var, mg, ms, এবং mom টেনসরগুলোর আপডেট একটি লক দ্বারা সুরক্ষিত থাকে; অন্যথায় এর আচরণ অনির্ধারিত, তবে এতে কনটেনশন কম হতে পারে।

ফেরত:

  • Output : "var"-এর অনুরূপ।

নির্মাতা এবং ধ্বংসকারী

SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)

জনসাধারণের বৈশিষ্ট্য

operation
out

জনসাধারণের কার্যাবলী

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

পাবলিক স্ট্যাটিক ফাংশন

UseLocking (bool x)

কাঠামো

tensorflow:: ops:: SparseApplyCenteredRMSProp:: Attrs

SparseApplyCenteredRMSProp-এর জন্য ঐচ্ছিক অ্যাট্রিবিউট সেটার।

জনসাধারণের বৈশিষ্ট্য

অপারেশন 

Operation operation

বাইরে 

::tensorflow::Output out

জনসাধারণের কার্যাবলী

SparseApplyCenteredRMSProp 

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyCenteredRMSProp 

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

নোড 

::tensorflow::Node * node() const

অপারেটর::টেনসরফ্লো::ইনপুট 

 operator::tensorflow::Input() const

অপারেটর::টেনসরফ্লো::আউটপুট 

 operator::tensorflow::Output() const

পাবলিক স্ট্যাটিক ফাংশন

ইউজলকিং 

Attrs UseLocking(
  bool x
)