tensorflow:: ops:: FixedUnigramCandidateSampler

יוצר תוויות לדגימת מועמדים עם התפלגות יוניגרם נלמדת.

תַקצִיר

דוגם יוניגראם יכול להשתמש בהתפלגות יוניגראם קבועה הנקראת מקובץ או מועברת כמערך בזיכרון במקום לבנות את ההתפלגות מנתונים תוך כדי תנועה. ישנה גם אפשרות להטות את ההתפלגות על ידי הפעלת עוצמת עיוות על המשקלים.

קובץ אוצר המילים צריך להיות בפורמט דמוי CSV, כאשר השדה האחרון הוא המשקל המשויך למילה.

עבור כל אצווה, פעולה זו בוחרת קבוצה אחת של תוויות מועמדות שנדגמו.

היתרונות של דגימת מועמדים בכל אצווה הם פשטות ואפשרות של כפל יעיל של מטריצות צפופות. החיסרון הוא שיש לבחור את המועמדים הנדגמים באופן בלתי תלוי בהקשר ובתוויות האמיתיות.

טיעונים:

• היקף: אובייקט היקף
• true_classes: מטריצה ​​של batch_size * num_true, שבה כל שורה מכילה את המזהים של num_true target_classes בתווית המקורית המתאימה.
• num_true: מספר תוויות אמת לכל הקשר.
• num_sampled: מספר המועמדים לדגימה אקראית.
• ייחודי: אם ייחודי הוא נכון, נדגום עם דחייה, כך שכל המועמדים שנדגמו בקבוצה יהיו ייחודיים. זה דורש קירוב מסוים כדי להעריך את הסתברויות הדגימה לאחר הדחייה.
• range_max: הדוגם ידגום מספרים שלמים מהמרווח [0, range_max).

מאפיינים אופציונליים (ראה Attrs ):

• vocab_file: כל שורה תקפה בקובץ זה (אשר אמור להיות בפורמט דמוי CSV) מתאימה למזהה מילה תקף. המזהים מסודרים בסדר עוקב, החל מ-num_reserved_ids. הערך האחרון בכל שורה צפוי להיות ערך התואם ל-count או להסתברות היחסית. יש להעביר בדיוק אחד מה-vocab_file ו-unigrams לפונקציה זו.
• עיוות: העיוות משמש להטיית התפלגות ההסתברות של יוניגרמה. כל משקל מועלה תחילה לחזקת העיוות לפני שהוא מתווסף להתפלגות היוניגרמה הפנימית. כתוצאה מכך, עיוות = 1.0 נותן דגימה רגילה של יוניגרמה (כפי שמוגדר על ידי קובץ אוצר המילים), ועיוות = 0.0 נותן התפלגות אחידה.
• num_reserved_ids: באופן אופציונלי, ניתן להוסיף מספר מזהים שמורים בטווח [0, ..., num_reserved_ids) על ידי המשתמשים. מקרה שימוש אחד הוא שימוש באסימון מיוחד של מילה לא ידועה כמזהה 0. למזהים אלה תהיה הסתברות דגימה של 0.
• num_shards: ניתן להשתמש בדוגם כדי לדגום מקבוצת משנה של הטווח המקורי על מנת להאיץ את החישוב כולו באמצעות מקביליות. פרמטר זה (יחד עם 'shard') מציין את מספר המחיצות הנמצאות בשימוש בחישוב הכולל.
• שרד: ניתן להשתמש בדוגם כדי לדגום מקבוצת משנה של הטווח המקורי על מנת להאיץ את כל החישוב באמצעות מקביליות. פרמטר זה (יחד עם 'num_shards') מציין את מספר המחיצה הספציפי של פעולה של דוגם, כאשר נעשה שימוש בחלוקה למחיצות.
• יוניגרמים: רשימה של ספירות או הסתברויות יוניגרמים, אחת לכל מזהה בסדר עוקב. יש להעביר בדיוק אחת מהפונקציות vocab_file ו-unigrams לפונקציה זו.
• seed: אם seed או seed2 מוגדרים כלא אפס, מחולל המספרים האקראיים נזרע על ידי ה-seed הנתון. אחרת, הוא נזרע על ידי seed אקראי.
• seed2: זרע שני כדי למנוע התנגשות זרעים.

החזרות:

• Output sampled_candidates: וקטור באורך num_sampled, שבו כל אלמנט הוא המזהה של מועמד שנדגם.
• Output true_expected_count: מטריצה ​​של batch_size * num_true, המייצגת את מספר הפעמים שכל מועמד צפוי להופיע באצווה של מועמדים שנדגמו. אם unique=true, אזי זוהי הסתברות.
• Output sampled_expected_count: וקטור באורך num_sampled, עבור כל מועמד שנדגם המייצג את מספר הפעמים שהמועמד צפוי להופיע באצווה של מועמדים שנדגמו. אם unique=true, אזי זוהי הסתברות.

מאפיינים ציבוריים

Operation operation

::tensorflow::Output sampled_candidates

::tensorflow::Output sampled_expected_count

::tensorflow::Output true_expected_count

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max
)

 FixedUnigramCandidateSampler(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input true_classes,
  int64 num_true,
  int64 num_sampled,
  bool unique,
  int64 range_max,
  const FixedUnigramCandidateSampler::Attrs & attrs
)

Attrs Distortion(
  float x
)

Attrs NumReservedIds(
  int64 x
)

Attrs NumShards(
  int64 x
)

Attrs Seed(
  int64 x
)

Attrs Seed2(
  int64 x
)

Attrs Shard(
  int64 x
)

Attrs Unigrams(
  const gtl::ArraySlice< float > & x
)

Attrs VocabFile(
  StringPiece x
)