tensorflow:: ops:: FixedUnigramCandidateSampler:: Attrs
#include <candidate_sampling_ops.h>Configuradores de atributos opcionales para FixedUnigramCandidateSampler .
Resumen
Atributos públicos | |
|---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funciones públicas | |
|---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs La distorsión se utiliza para sesgar la distribución de probabilidad de los unigramas. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids). |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Si tanto seed como seed2 se establecen como distintos de cero, el generador de números aleatorios se inicializa con la semilla proporcionada. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Una segunda semilla para evitar la colisión de semillas. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Cada línea válida de este archivo (que debería tener un formato similar a CSV) corresponde a un identificador de palabra válido. |
Atributos públicos
distorsión_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_reserved_ids_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_fragmentos_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
semilla2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
semilla_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
casco_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramas_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}archivo_de_vocabulario_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funciones públicas
Distorsión
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
La distorsión se utiliza para sesgar la distribución de probabilidad de los unigramas.
Cada peso se eleva primero a la potencia de la distorsión antes de sumarlo a la distribución interna de unigramas. Como resultado, distorsión = 1,0 proporciona un muestreo regular de unigramas (según lo define el archivo de vocabulario), y distorsión = 0,0 proporciona una distribución uniforme.
Por defecto es 1.
NumReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).
Un caso de uso es que se utilice un token de palabra desconocida especial como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.
El valor predeterminado es 0.
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.
Por defecto es 1.
Semilla
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Si tanto seed como seed2 se establecen como distintos de cero, el generador de números aleatorios se inicializa con la semilla proporcionada.
De lo contrario, se inicializa con una semilla aleatoria.
El valor predeterminado es 0.
Semilla2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Una segunda semilla para evitar la colisión de semillas.
El valor predeterminado es 0.
Casco
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Este parámetro (junto con 'num_shards') indica el número de partición específico de una operación de muestreo cuando se utiliza el particionamiento.
El valor predeterminado es 0.
Unigramas
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.
Exactamente uno de los siguientes elementos, vocab_file o unigrams, debe pasarse a esta operación.
Por defecto es []
Archivo de vocabulario
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Cada línea válida de este archivo (que debería tener un formato similar a CSV) corresponde a un identificador de palabra válido.
Los identificadores están en orden secuencial, comenzando por num_reserved_ids. Se espera que la última entrada de cada línea sea un valor que corresponda al recuento o a la probabilidad relativa. Se debe pasar exactamente uno de los siguientes parámetros a esta operación: vocab_file o unigrams.
Por defecto es ""