dòng chảy :: ops :: FixedUnigramCandidateSampler :: Đính kèm

#include <candidate_sampling_ops.h>

Bộ thiết lập thuộc tính tùy chọn cho FixedUnigramCandidateSampler .

Tóm lược

Thuộc tính công cộng
`distortion_ = 1.0f`	`float`
`num_reserved_ids_ = 0`	`int64`
`num_shards_ = 1`	`int64`
`seed2_ = 0`	`int64`
`seed_ = 0`	`int64`
`shard_ = 0`	`int64`
`unigrams_ = {}`	`gtl::ArraySlice< float >`
`vocab_file_ = ""`	`StringPiece`

Chức năng công cộng
`Distortion (float x)`	`TF_MUST_USE_RESULT Attrs` Sự biến dạng được sử dụng để làm lệch phân phối xác suất unigram.
`NumReservedIds (int64 x)`	`TF_MUST_USE_RESULT Attrs` Theo tùy chọn, một số ID dành riêng có thể được người dùng thêm vào trong phạm vi [0, ..., num_reserved_ids).
`NumShards (int64 x)`	`TF_MUST_USE_RESULT Attrs` Một bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi ban đầu nhằm tăng tốc độ toàn bộ tính toán thông qua song song.
`Seed (int64 x)`	`TF_MUST_USE_RESULT Attrs` Nếu hạt giống hoặc hạt giống2 được đặt là khác 0, bộ tạo số ngẫu nhiên sẽ được hạt giống đã cho.
`Seed2 (int64 x)`	`TF_MUST_USE_RESULT Attrs` Một hạt giống thứ hai để tránh va chạm hạt.
`Shard (int64 x)`	`TF_MUST_USE_RESULT Attrs` Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi ban đầu nhằm tăng tốc độ toàn bộ tính toán thông qua song song.
`Unigrams (const gtl::ArraySlice< float > & x)`	`TF_MUST_USE_RESULT Attrs` Một danh sách các số lượng hoặc xác suất unigram, một cho mỗi ID theo thứ tự tuần tự.
`VocabFile (StringPiece x)`	`TF_MUST_USE_RESULT Attrs` Mỗi dòng hợp lệ trong tệp này (phải có định dạng giống CSV) tương ứng với một ID từ hợp lệ.

Thuộc tính công cộng

méo mó_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

hạt giống_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

shard_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigram_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Chức năng công cộng

Méo mó

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

Sự biến dạng được sử dụng để làm lệch phân phối xác suất unigram.

Đầu tiên mỗi trọng lượng được nâng lên đến sức mạnh của độ méo trước khi thêm vào phân phối unigram bên trong. Kết quả là, độ méo = 1,0 cho phép lấy mẫu unigram thường xuyên (theo định nghĩa của tệp vocab) và độ méo = 0,0 cho phép phân phối đồng đều.

Mặc định là 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Theo tùy chọn, một số ID dành riêng có thể được người dùng thêm vào trong phạm vi [0, ..., num_reserved_ids).

Một trường hợp sử dụng là mã thông báo từ không xác định đặc biệt được sử dụng làm ID 0. Những ID này sẽ có xác suất lấy mẫu là 0.

Mặc định là 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi ban đầu nhằm tăng tốc độ toàn bộ tính toán thông qua song song.

Tham số này (cùng với 'shard') cho biết số lượng phân vùng đang được sử dụng trong tính toán tổng thể.

Mặc định là 1

Hạt giống

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Nếu hạt giống hoặc hạt giống2 được đặt là khác 0, bộ tạo số ngẫu nhiên sẽ được tạo hạt giống đã cho.

Nếu không, nó được gieo bởi một hạt ngẫu nhiên.

Mặc định là 0

Seed2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Hạt thứ hai để tránh va chạm hạt.

Mặc định là 0

Mảnh vỡ

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Một bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi gốc nhằm tăng tốc độ toàn bộ tính toán thông qua song song.

Tham số này (cùng với 'num_shards') chỉ ra số phân vùng cụ thể của op trình lấy mẫu, khi phân vùng đang được sử dụng.

Mặc định là 0

Unigram

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Một danh sách các số lượng hoặc xác suất unigram, một cho mỗi ID theo thứ tự tuần tự.

Chính xác một trong các vocab_file và unigram phải được chuyển đến op này.

Mặc định là []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Mỗi dòng hợp lệ trong tệp này (phải có định dạng giống CSV) tương ứng với một ID từ hợp lệ.

Các ID theo thứ tự tuần tự, bắt đầu từ num_reserved_ids. Mục nhập cuối cùng trong mỗi dòng được mong đợi là một giá trị tương ứng với số đếm hoặc xác suất tương đối. Chính xác một trong các vocab_file và unigram cần được chuyển tới op này.

Mặc định là ""