เทนเซอร์โฟลว์:: ปฏิบัติการ:: แก้ไข UnigramCandidateSampler:: คุณสมบัติ

#include <candidate_sampling_ops.h>

ตัวตั้งค่าแอ็ตทริบิวต์ทางเลือกสำหรับ FixUnigramCandidateSampler

สรุป

คุณลักษณะสาธารณะ

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

งานสาธารณะ

Distortion (float x)
TF_MUST_USE_RESULT Attrs
การบิดเบือนจะใช้เพื่อบิดเบือนการแจกแจงความน่าจะเป็นแบบยูนิแกรม
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
นอกจากนี้ ผู้ใช้ยังสามารถเพิ่ม ID ที่สงวนไว้บางส่วนในช่วง [0, ..., num_reserved_ids) ได้
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
หากเมล็ดพืชหรือเมล็ดพืช2 ถูกตั้งค่าไม่เป็นศูนย์ เครื่องกำเนิดตัวเลขสุ่มจะถูกเพาะโดยเมล็ดที่ให้มา
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
เมล็ดที่สองเพื่อหลีกเลี่ยงการชนกันของเมล็ด
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
รายการจำนวนยูนิแกรมหรือความน่าจะเป็น หนึ่งรายการต่อ ID ตามลำดับ
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
แต่ละบรรทัดที่ถูกต้องในไฟล์นี้ (ซึ่งควรมีรูปแบบคล้าย CSV) สอดคล้องกับรหัสคำที่ถูกต้อง

คุณลักษณะสาธารณะ

การบิดเบือน_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

เมล็ดพันธุ์2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

เมล็ดพืช_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

เศษ_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

ยูนิแกรม_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

คำศัพท์_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

งานสาธารณะ

การบิดเบือน

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

การบิดเบือนจะใช้เพื่อบิดเบือนการแจกแจงความน่าจะเป็นแบบยูนิแกรม

ตุ้มน้ำหนักแต่ละอันจะถูกยกขึ้นตามกำลังของการบิดเบือนก่อนจึงจะเพิ่มไปยังการแจกแจงแบบยูนิแกรมภายใน ผลก็คือ ความบิดเบี้ยว = 1.0 ให้การสุ่มตัวอย่างแบบยูนิแกรมปกติ (ตามที่กำหนดโดยไฟล์คำศัพท์) และการบิดเบือน = 0.0 ให้การแจกแจงแบบสม่ำเสมอ

ค่าเริ่มต้นเป็น 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

นอกจากนี้ ผู้ใช้ยังสามารถเพิ่ม ID ที่สงวนไว้บางส่วนในช่วง [0, ..., num_reserved_ids) ได้

กรณีการใช้งานประการหนึ่งคือมีการใช้โทเค็นคำพิเศษที่ไม่รู้จักเป็น ID 0 รหัสเหล่านี้จะมีความน่าจะเป็นในการสุ่มตัวอย่างเป็น 0

ค่าเริ่มต้นเป็น 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน

พารามิเตอร์นี้ (ร่วมกับ 'shard') ระบุจำนวนพาร์ติชันที่ใช้ในการคำนวณโดยรวม

ค่าเริ่มต้นเป็น 1

เมล็ดพันธุ์

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

หากเมล็ดพืชหรือเมล็ดพืช2 ถูกตั้งค่าไม่เป็นศูนย์ เครื่องกำเนิดตัวเลขสุ่มจะถูกเพาะโดยเมล็ดที่ให้มา

มิฉะนั้นจะถูกเพาะโดยเมล็ดแบบสุ่ม

ค่าเริ่มต้นเป็น 0

เมล็ดพันธุ์2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

เมล็ดที่สองเพื่อหลีกเลี่ยงการชนกันของเมล็ด

ค่าเริ่มต้นเป็น 0

เศษ

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน

พารามิเตอร์นี้ (ร่วมกับ 'num_shards') ระบุหมายเลขพาร์ติชันเฉพาะของแซมเพลอร์ op เมื่อใช้การแบ่งพาร์ติชัน

ค่าเริ่มต้นเป็น 0

ยูนิแกรม

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

รายการจำนวนยูนิแกรมหรือความน่าจะเป็น หนึ่งรายการต่อ ID ตามลำดับ

ควรส่ง vocab_file และ unigrams หนึ่งรายการไปยัง op นี้

ค่าเริ่มต้นเป็น []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

แต่ละบรรทัดที่ถูกต้องในไฟล์นี้ (ซึ่งควรมีรูปแบบคล้าย CSV) สอดคล้องกับรหัสคำที่ถูกต้อง

รหัสจะเรียงลำดับตามลำดับ โดยเริ่มจาก num_reserved_ids รายการสุดท้ายในแต่ละบรรทัดคาดว่าจะเป็นค่าที่สอดคล้องกับการนับหรือความน่าจะเป็นแบบสัมพันธ์ ต้องส่ง vocab_file และ unigrams หนึ่งรายการไปยัง op นี้

ค่าเริ่มต้นเป็น ""