tensorflow::ops::FixedUnigramCandidateSampler::Attrs

#include <candidate_sampling_ops.h>

Các thiết lập thuộc tính tùy chọn cho FixedUnigramCandidateSampler .

Bản tóm tắt

Thuộc tính công khai

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Chức năng công cộng

Distortion (float x)
TF_MUST_USE_RESULT Attrs
Sự biến dạng này được sử dụng để làm lệch phân bố xác suất của unigram.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Người dùng có thể tùy chọn thêm một số ID dành riêng trong phạm vi [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua song song hóa.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Nếu seed hoặc seed2 được đặt khác 0, bộ tạo số ngẫu nhiên sẽ được gieo hạt giống bằng seed đã cho.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Thêm một hạt giống thứ hai để tránh hiện tượng các hạt giống va chạm.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua song song hóa.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Một danh sách các số lần xuất hiện hoặc xác suất của từ đơn, mỗi số tương ứng với một ID, được sắp xếp theo thứ tự liên tiếp.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Mỗi dòng hợp lệ trong tệp này (phải có định dạng giống CSV) tương ứng với một ID từ hợp lệ.

Thuộc tính công khai

sự biến dạng_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

số_mảnh_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

hạt giống2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

hạt giống_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

mảnh vỡ_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrams_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Chức năng công cộng

Sự biến dạng

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

Sự biến dạng này được sử dụng để làm lệch phân bố xác suất của unigram.

Mỗi trọng số trước tiên được nâng lên lũy thừa của độ lệch trước khi được cộng vào phân bố unigram nội bộ. Kết quả là, độ lệch = 1.0 cho ra lấy mẫu unigram thông thường (như được định nghĩa bởi tệp từ vựng), và độ lệch = 0.0 cho ra phân bố đồng đều.

Mặc định là 1

Số lượng ID được đặt trước

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Người dùng có thể tùy chọn thêm một số ID dành riêng trong phạm vi [0, ..., num_reserved_ids).

Một trường hợp sử dụng là một từ khóa đặc biệt chưa biết được dùng làm ID 0. Các ID này sẽ có xác suất lấy mẫu bằng 0.

Mặc định là 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua song song hóa.

Tham số này (cùng với 'shard') cho biết số lượng phân vùng được sử dụng trong toàn bộ quá trình tính toán.

Mặc định là 1

Hạt giống

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Nếu seed hoặc seed2 được đặt khác 0, bộ tạo số ngẫu nhiên sẽ được gieo hạt giống bằng seed đã cho.

Ngược lại, nó được tạo bằng một hạt giống ngẫu nhiên.

Mặc định là 0

Hạt giống2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Thêm một hạt giống thứ hai để tránh hiện tượng các hạt giống va chạm.

Mặc định là 0

Mảnh vỡ

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua song song hóa.

Tham số này (cùng với 'num_shards') chỉ định số phân vùng cụ thể của một thao tác lấy mẫu khi sử dụng phân vùng.

Mặc định là 0

Unigrams

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Một danh sách các số lần xuất hiện hoặc xác suất của unigram, mỗi số tương ứng với một ID theo thứ tự tuần tự.

Chỉ được phép truyền một trong hai tham số vocab_file và unigrams cho toán tử này.

Mặc định là []

Tệp từ vựng

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Mỗi dòng hợp lệ trong tệp này (phải có định dạng giống CSV) tương ứng với một ID từ hợp lệ.

Các ID được sắp xếp theo thứ tự tuần tự, bắt đầu từ num_reserved_ids. Mục cuối cùng trong mỗi dòng được mong đợi là một giá trị tương ứng với số lượng hoặc xác suất tương đối. Chỉ cần truyền chính xác một trong hai tham số vocab_file và unigrams cho toán tử này.

Mặc định là ""