flujo tensor:: operaciones:: FijoUnigramCandidateSampler:: atributos

#include <candidate_sampling_ops.h>

Configuradores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funciones públicas

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Una segunda semilla para evitar la colisión de semillas.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Atributos públicos

distorsión_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_id_reservados_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_fragmentos_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

semilla2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigramas_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

archivo_vocab_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones públicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de distorsión antes de agregarlo a la distribución interna de unigramas. Como resultado, la distorsión = 1,0 proporciona un muestreo regular de unigramas (como se define en el archivo de vocabulario) y la distorsión = 0,0 proporciona una distribución uniforme.

Por defecto es 1

NúmReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token especial de palabra desconocida como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Por defecto es 0

NumFragmentos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.

Por defecto es 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.

De lo contrario, se siembra con una semilla aleatoria.

Por defecto es 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Por defecto es 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestra, cuando se utiliza la partición.

Por defecto es 0

Unigramas

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.

El valor predeterminado es []

Archivo de vocabulario

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Los ID están en orden secuencial, comenzando desde num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.

El valor predeterminado es ""

,

flujo tensor:: operaciones:: FijoUnigramCandidateSampler:: atributos

#include <candidate_sampling_ops.h>

Configuradores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funciones públicas

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Una segunda semilla para evitar la colisión de semillas.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Atributos públicos

distorsión_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_id_reservados_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_fragmentos_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

semilla2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigramas_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

archivo_vocab_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones públicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de distorsión antes de agregarlo a la distribución interna de unigramas. Como resultado, la distorsión = 1,0 proporciona un muestreo regular de unigramas (como se define en el archivo de vocabulario) y la distorsión = 0,0 proporciona una distribución uniforme.

Por defecto es 1

NúmReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token especial de palabra desconocida como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Por defecto es 0

NumFragmentos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.

Por defecto es 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.

De lo contrario, se siembra con una semilla aleatoria.

Por defecto es 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Por defecto es 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestra, cuando se utiliza la partición.

Por defecto es 0

Unigramas

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.

El valor predeterminado es []

Archivo de vocabulario

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Los ID están en orden secuencial, comenzando desde num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.

El valor predeterminado es ""