tensorflow::ops::FixedUnigramCandidateSampler::Attrs

#include <candidate_sampling_ops.h>

Définiteurs d'attributs optionnels pour FixedUnigramCandidateSampler .

Résumé

attributs publics

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

fonctions publiques

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsion est utilisée pour fausser la distribution de probabilité unigramme.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Les utilisateurs peuvent éventuellement ajouter des identifiants réservés dans la plage [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si seed ou seed2 sont définis comme non nuls, le générateur de nombres aléatoires est initialisé par la graine donnée.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Une deuxième graine pour éviter les collisions entre les graines.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Une liste de dénombrements ou de probabilités d'unigrammes, un par identifiant dans l'ordre séquentiel.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Chaque ligne valide de ce fichier (qui doit avoir un format similaire à CSV) correspond à un identifiant de mot valide.

attributs publics

distorsion_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

nombre_d'identifiants_réservés

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

nombre_de_fragments_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

graine2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

graine_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

tesson_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrammes_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

fichier_vocabulaire

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

fonctions publiques

Distorsion

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsion est utilisée pour fausser la distribution de probabilité unigramme.

Chaque poids est d'abord élevé à la puissance de la distorsion avant d'être ajouté à la distribution interne des unigrammes. Par conséquent, une distorsion de 1,0 correspond à un échantillonnage régulier des unigrammes (tel que défini par le fichier de vocabulaire), et une distorsion de 0,0 à une distribution uniforme.

Valeur par défaut : 1

Nombre d'identifiants réservés

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Les utilisateurs peuvent éventuellement ajouter des identifiants réservés dans la plage [0, ..., num_reserved_ids).

Un cas d'utilisation consiste à utiliser un jeton de mot inconnu spécial comme ID 0. Ces ID auront une probabilité d'échantillonnage de 0.

Valeur par défaut : 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.

Ce paramètre (associé à « shard ») indique le nombre de partitions utilisées dans le calcul global.

Valeur par défaut : 1

Graine

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si seed ou seed2 sont définis comme non nuls, le générateur de nombres aléatoires est initialisé par la graine donnée.

Sinon, il est initialisé avec une graine aléatoire.

Valeur par défaut : 0

Graine2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Une deuxième graine pour éviter les collisions entre les graines.

Valeur par défaut : 0

Tesson

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.

Ce paramètre (associé à 'num_shards') indique le numéro de partition particulier d'une opération d'échantillonnage, lorsque le partitionnement est utilisé.

Valeur par défaut : 0

Unigrammes

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Une liste de dénombrements ou de probabilités d'unigrammes, un par identifiant dans l'ordre séquentiel.

Exactement l'un des fichiers vocab_file ou unigrams doit être passé à cette opération.

Valeur par défaut : []

Fichier de vocabulaire

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Chaque ligne valide de ce fichier (qui doit avoir un format similaire à CSV) correspond à un identifiant de mot valide.

Les identifiants sont séquentiels, à partir de `num_reserved_ids`. La dernière valeur de chaque ligne doit correspondre au nombre d'occurrences ou à la probabilité relative. Seule l'une des valeurs `vocab_file` ou `unigrams` doit être fournie à cette opération.

Par défaut, ""