tensorflow:: ops:: FixedUnigramCandidateSampler

একটি অর্জিত ইউনিগ্রাম বিন্যাস ব্যবহার করে ক্যান্ডিডেট স্যাম্পলিংয়ের জন্য লেবেল তৈরি করে।

সারসংক্ষেপ

একটি ইউনিগ্রাম স্যাম্পলার তাৎক্ষণিকভাবে ডেটা থেকে ডিস্ট্রিবিউশন তৈরি করার পরিবর্তে, ফাইল থেকে পড়া বা ইন-মেমরি অ্যারে হিসাবে দেওয়া একটি নির্দিষ্ট ইউনিগ্রাম ডিস্ট্রিবিউশন ব্যবহার করতে পারে। ওয়েটগুলিতে একটি ডিসটর্শন পাওয়ার প্রয়োগ করে ডিস্ট্রিবিউশনকে স্কিউ করার একটি বিকল্পও রয়েছে।

শব্দভান্ডার ফাইলটি CSV-এর মতো ফরম্যাটে হওয়া উচিত, যার শেষ ফিল্ডটিতে শব্দটির সাথে যুক্ত ওয়েট বা গুরুত্ব থাকবে।

প্রতিটি ব্যাচের জন্য, এই অপারেশনটি নমুনা হিসেবে নেওয়া সম্ভাব্য লেবেলের একটি একক সেট নির্বাচন করে।

প্রতি-ব্যাচ ভিত্তিতে ক্যান্ডিডেট স্যাম্পলিং করার সুবিধাগুলো হলো এর সরলতা এবং কার্যকর ডেন্স ম্যাট্রিক্স গুণনের সম্ভাবনা। এর অসুবিধা হলো, স্যাম্পল করা ক্যান্ডিডেটগুলোকে অবশ্যই প্রেক্ষাপট এবং প্রকৃত লেবেল থেকে স্বাধীনভাবে বেছে নিতে হবে।

যুক্তি:

• স্কোপ: একটি স্কোপ অবজেক্ট
• true_classes: একটি batch_size * num_true ম্যাট্রিক্স, যার প্রতিটি সারিতে সংশ্লিষ্ট মূল লেবেলে থাকা num_true সংখ্যক target_classes-এর আইডিগুলো থাকে।
• num_true: প্রতি কনটেক্সটে সত্য লেবেলের সংখ্যা।
• num_sampled: দৈবচয়নের মাধ্যমে নমুনা হিসেবে বেছে নেওয়ার জন্য প্রার্থীর সংখ্যা।
• অনন্য: যদি অনন্য শর্তটি সত্য হয়, তবে আমরা বর্জন সাপেক্ষে নমুনা সংগ্রহ করি, যাতে একটি ব্যাচের সমস্ত নমুনাকৃত প্রার্থী অনন্য হয়। বর্জন-পরবর্তী নমুনা সংগ্রহের সম্ভাব্যতা অনুমান করার জন্য এর জন্য কিছু আনুমানিক হিসাবের প্রয়োজন হয়।
• range_max: স্যাম্পলারটি [0, range_max) ব্যবধি থেকে পূর্ণসংখ্যা স্যাম্পল করবে।

ঐচ্ছিক অ্যাট্রিবিউটসমূহ (দেখুন Attrs ):

• vocab_file: এই ফাইলের (যার ফরম্যাট CSV-এর মতো হওয়া উচিত) প্রতিটি বৈধ লাইন একটি বৈধ শব্দ আইডি-র সাথে সঙ্গতিপূর্ণ। আইডিগুলো num_reserved_ids থেকে শুরু করে ক্রমানুসারে সাজানো থাকে। প্রতিটি লাইনের শেষ এন্ট্রিটি গণনা বা আপেক্ষিক সম্ভাবনার সাথে সঙ্গতিপূর্ণ একটি মান হবে বলে আশা করা হয়। এই op-তে vocab_file এবং unigrams-এর মধ্যে ঠিক যেকোনো একটি পাস করতে হবে।
• বিকৃতি: ইউনিগ্রাম সম্ভাব্যতা বিন্যাসকে বাঁকাতে এই বিকৃতি ব্যবহার করা হয়। অভ্যন্তরীণ ইউনিগ্রাম বিন্যাসে যোগ করার আগে প্রতিটি ওয়েটকে প্রথমে বিকৃতির ঘাতে উন্নীত করা হয়। ফলে, বিকৃতি = ১.০ নিয়মিত ইউনিগ্রাম স্যাম্পলিং (যেমনটি ভোকাব ফাইলে সংজ্ঞায়িত) দেয়, এবং বিকৃতি = ০.০ একটি সুষম বিন্যাস দেয়।
• num_reserved_ids: ব্যবহারকারীরা ঐচ্ছিকভাবে [0, ..., num_reserved_ids) পরিসরের মধ্যে কিছু সংরক্ষিত আইডি যোগ করতে পারেন। এর একটি ব্যবহার হলো, একটি বিশেষ অজানা শব্দ টোকেনকে আইডি 0 হিসেবে ব্যবহার করা। এই আইডিগুলোর স্যাম্পলিং সম্ভাবনা হবে 0।
• num_shards: প্যারালেলিজমের মাধ্যমে সম্পূর্ণ গণনার গতি বাড়ানোর জন্য একটি স্যাম্পলার মূল পরিসরের একটি উপসেট থেকে স্যাম্পল নিতে পারে। এই প্যারামিটারটি ('shard'-এর সাথে) সামগ্রিক গণনায় ব্যবহৃত পার্টিশনের সংখ্যা নির্দেশ করে।
• শার্ড: প্যারালেলিজমের মাধ্যমে সম্পূর্ণ গণনার গতি বাড়ানোর জন্য একটি স্যাম্পলার মূল পরিসরের একটি উপসেট থেকে স্যাম্পল নিতে পারে। পার্টিশনিং ব্যবহার করা হলে, এই প্যারামিটারটি ('num_shards'-এর সাথে) একটি স্যাম্পলার অপ-এর নির্দিষ্ট পার্টিশন নম্বর নির্দেশ করে।
• ইউনিগ্রামস: ইউনিগ্রামের সংখ্যা বা সম্ভাবনার একটি তালিকা, যা প্রতিটি ID-র জন্য ক্রমানুসারে একটি করে থাকে। এই অপ-এ vocab_file এবং unigrams-এর মধ্যে থেকে ঠিক একটি পাস করতে হবে।
• সিড: যদি সিড অথবা সিড২-এর যেকোনো একটির মান অশূন্য ধরা হয়, তবে র‍্যান্ডম নম্বর জেনারেটরটি প্রদত্ত সিড দ্বারা চালিত হয়। অন্যথায়, এটি একটি র‍্যান্ডম সিড দ্বারা চালিত হয়।
• seed2: বীজের সংঘর্ষ এড়ানোর জন্য একটি দ্বিতীয় বীজ।

ফেরত:

• Output sampled_candidates: num_sampled দৈর্ঘ্যের একটি ভেক্টর, যার প্রতিটি উপাদান হলো একজন নমুনাভুক্ত প্রার্থীর আইডি।
• Output true_expected_count: একটি batch_size * num_true ম্যাট্রিক্স, যা নমুনা করা ক্যান্ডিডেটদের একটি ব্যাচে প্রতিটি ক্যান্ডিডেটের প্রত্যাশিত উপস্থিতির সংখ্যা নির্দেশ করে। যদি unique=true হয়, তবে এটি একটি সম্ভাবনা।
• Output sampled_expected_count: num_sampled দৈর্ঘ্যের একটি ভেক্টর, যা প্রতিটি স্যাম্পল করা ক্যান্ডিডেটের জন্য একটি ব্যাচে ক্যান্ডিডেটটির প্রত্যাশিত উপস্থিতির সংখ্যা নির্দেশ করে। যদি unique=true হয়, তবে এটি একটি সম্ভাবনা।

জনসাধারণের বৈশিষ্ট্য

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)