tensorflow::ops::FixedUnigramCandidateSampler::Attrs
#include <candidate_sampling_ops.h>Definidores de atributos opcionais para FixedUnigramCandidateSampler .
Resumo
Atributos públicos | |
|---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funções públicas | |
|---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs A distorção é usada para enviesar a distribuição de probabilidade do unigrama. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcionalmente, alguns IDs reservados podem ser adicionados pelos usuários no intervalo [0, ..., num_reserved_ids]. |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para selecionar amostras de um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Se seed ou seed2 forem definidos como diferentes de zero, o gerador de números aleatórios será inicializado com a semente fornecida. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Uma segunda semente para evitar colisão entre elas. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para selecionar amostras de um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Uma lista de contagens ou probabilidades de unigramas, uma por ID em ordem sequencial. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Cada linha válida neste arquivo (que deve ter um formato semelhante ao CSV) corresponde a um ID de palavra válido. |
Atributos públicos
distorção_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_id_reservado_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_fragmentos_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
semente2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
semente_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
fragmento_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramas_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}arquivo_vocabulário_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funções públicas
Distorção
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
A distorção é usada para enviesar a distribuição de probabilidade do unigrama.
Cada peso é primeiro elevado à potência da distorção antes de ser adicionado à distribuição interna de unigramas. Como resultado, distorção = 1,0 produz uma amostragem regular de unigramas (conforme definido pelo arquivo de vocabulário), e distorção = 0,0 produz uma distribuição uniforme.
O valor padrão é 1.
NumReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcionalmente, alguns IDs reservados podem ser adicionados pelos usuários no intervalo [0, ..., num_reserved_ids].
Um exemplo de uso é quando um token de palavra desconhecida especial é utilizado como ID 0. Esses IDs terão uma probabilidade de amostragem de 0.
O valor padrão é 0.
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Um amostrador pode ser usado para selecionar amostras de um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (juntamente com 'shard') indica o número de partições que estão sendo usadas no cálculo geral.
O valor padrão é 1.
Semente
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Se seed ou seed2 forem definidos como diferentes de zero, o gerador de números aleatórios será inicializado com a semente fornecida.
Caso contrário, é inicializado com uma semente aleatória.
O valor padrão é 0.
Semente2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Uma segunda semente para evitar colisão entre elas.
O valor padrão é 0.
Fragmento
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Um amostrador pode ser usado para selecionar amostras de um subconjunto do intervalo original, a fim de acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (juntamente com 'num_shards') indica o número de partição específico de uma operação de amostragem, quando o particionamento está sendo usado.
O valor padrão é 0.
Unigramas
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Uma lista de contagens ou probabilidades de unigramas, uma por ID em ordem sequencial.
Exatamente um dos seguintes parâmetros, vocab_file ou unigrams, deve ser passado para esta operação.
O valor padrão é []
Arquivo de vocabulário
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Cada linha válida neste arquivo (que deve ter um formato semelhante ao CSV) corresponde a um ID de palavra válido.
Os IDs estão em ordem sequencial, começando por num_reserved_ids. A última entrada em cada linha deve ser um valor correspondente à contagem ou probabilidade relativa. Exatamente um dos parâmetros vocab_file e unigrams precisa ser passado para esta operação.
O valor padrão é ""