टेन्सरफ्लो::ऑप्स::फिक्स्डयूनिग्रामकैंडिडेटसैंपलर

यह सीखे हुए यूनिग्राम वितरण के साथ उम्मीदवार नमूनाकरण के लिए लेबल उत्पन्न करता है।

सारांश

एक यूनिग्राम सैम्पलर, डेटा से वितरण को तात्कालिक रूप से बनाने के बजाय, किसी फ़ाइल से पढ़े गए या इन-मेमोरी ऐरे के रूप में पास किए गए एक निश्चित यूनिग्राम वितरण का उपयोग कर सकता है। भारों पर विरूपण शक्ति लागू करके वितरण को तिरछा करने का विकल्प भी उपलब्ध है।

शब्दावली फ़ाइल CSV प्रारूप में होनी चाहिए, जिसमें अंतिम फ़ील्ड शब्द से संबंधित भार हो।

प्रत्येक बैच के लिए, यह ऑपरेशन नमूना किए गए संभावित लेबलों का एक ही सेट चुनता है।

प्रत्येक बैच के लिए उम्मीदवारों का नमूना लेने के लाभ सरलता और कुशल सघन मैट्रिक्स गुणन की संभावना हैं। इसका नुकसान यह है कि नमूना लिए गए उम्मीदवारों को संदर्भ और वास्तविक लेबल से स्वतंत्र रूप से चुना जाना चाहिए।

तर्क:

• स्कोप: एक स्कोप ऑब्जेक्ट
• true_classes: एक batch_size * num_true मैट्रिक्स, जिसमें प्रत्येक पंक्ति में संबंधित मूल लेबल में num_true target_classes की ID शामिल होती हैं।
• num_true: प्रति संदर्भ सही लेबलों की संख्या।
• num_sampled: यादृच्छिक रूप से नमूना लेने के लिए उम्मीदवारों की संख्या।
• अद्वितीय: यदि अद्वितीय सत्य है, तो हम अस्वीकृति के साथ नमूना लेते हैं, ताकि एक बैच में सभी नमूना लिए गए उम्मीदवार अद्वितीय हों। इसके लिए अस्वीकृति के बाद की नमूना संभावनाओं का अनुमान लगाने के लिए कुछ सन्निकटन की आवश्यकता होती है।
• range_max: सैम्पलर अंतराल [0, range_max) से पूर्णांकों का नमूना लेगा।

वैकल्पिक विशेषताएँ (देखें Attrs ):

• vocab_file: इस फ़ाइल (जिसका प्रारूप CSV जैसा होना चाहिए) की प्रत्येक मान्य पंक्ति एक मान्य शब्द ID से मेल खाती है। ID अनुक्रमिक क्रम में हैं, जो num_reserved_ids से शुरू होती हैं। प्रत्येक पंक्ति में अंतिम प्रविष्टि संख्या या सापेक्ष प्रायिकता के अनुरूप मान होनी चाहिए। इस ऑपरेशन में vocab_file और unigrams में से केवल एक को ही पास करना आवश्यक है।
• विरूपण: विरूपण का उपयोग यूनिग्राम प्रायिकता वितरण को तिरछा करने के लिए किया जाता है। प्रत्येक भार को आंतरिक यूनिग्राम वितरण में जोड़ने से पहले विरूपण की घात तक बढ़ाया जाता है। परिणामस्वरूप, विरूपण = 1.0 नियमित यूनिग्राम नमूनाकरण (जैसा कि शब्दावली फ़ाइल द्वारा परिभाषित है) देता है, और विरूपण = 0.0 एकसमान वितरण देता है।
• num_reserved_ids: उपयोगकर्ता चाहें तो [0, ..., num_reserved_ids) श्रेणी में कुछ आरक्षित ID जोड़ सकते हैं। एक उदाहरण यह है कि किसी विशेष अज्ञात शब्द टोकन को ID 0 के रूप में उपयोग किया जाता है। इन ID की सैंपलिंग प्रायिकता 0 होगी।
• num_shards: समानांतरता के माध्यम से संपूर्ण गणना को गति देने के लिए मूल रेंज के एक उपसमूह से नमूना लेने हेतु एक सैम्पलर का उपयोग किया जा सकता है। यह पैरामीटर ('shard' के साथ) समग्र गणना में उपयोग किए जा रहे विभाजनों की संख्या को दर्शाता है।
• शार्ड: समानांतरता के माध्यम से संपूर्ण गणना को गति देने के लिए मूल रेंज के एक उपसमूह से नमूना लेने के लिए एक सैम्पलर का उपयोग किया जा सकता है। यह पैरामीटर ('num_shards' के साथ) विभाजन का उपयोग करते समय सैम्पलर ऑपरेशन की विशिष्ट विभाजन संख्या को इंगित करता है।
• यूनिग्राम: अनुक्रमिक क्रम में प्रत्येक आईडी के लिए एक यूनिग्राम गणना या प्रायिकता की सूची। इस ऑपरेशन में वोकैब_फाइल और यूनिग्राम में से केवल एक ही पास किया जाना चाहिए।
• सीड: यदि सीड या सीड2 में से कोई भी मान शून्य नहीं है, तो रैंडम नंबर जनरेटर को दिए गए सीड से सीड किया जाता है। अन्यथा, इसे एक रैंडम सीड से सीड किया जाता है।
• seed2: सीड टकराव से बचने के लिए एक दूसरा सीड।

प्रतिफल:

• Output sampled_candidates: num_sampled लंबाई का एक वेक्टर, जिसमें प्रत्येक तत्व एक नमूना उम्मीदवार की आईडी है।
• Output true_expected_count: एक batch_size * num_true मैट्रिक्स, जो नमूना लिए गए उम्मीदवारों के एक बैच में प्रत्येक उम्मीदवार के अपेक्षित आगमन की संख्या को दर्शाता है। यदि unique=true है, तो यह एक प्रायिकता है।
• Output sampled_expected_count: num_sampled लंबाई का एक वेक्टर, जो प्रत्येक नमूना उम्मीदवार के लिए यह दर्शाता है कि नमूना उम्मीदवारों के एक बैच में उस उम्मीदवार के कितनी बार आने की उम्मीद है। यदि unique=true है, तो यह एक प्रायिकता है।

सार्वजनिक विशेषताएँ

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)