tensorflow::ops::FixedUnigramCandidateSampler::Attrs
#include <candidate_sampling_ops.h>Définiteurs d'attributs optionnels pour FixedUnigramCandidateSampler .
Résumé
attributs publics | |
|---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
fonctions publiques | |
|---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs La distorsion est utilisée pour fausser la distribution de probabilité unigramme. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Les utilisateurs peuvent éventuellement ajouter des identifiants réservés dans la plage [0, ..., num_reserved_ids). |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Si seed ou seed2 sont définis comme non nuls, le générateur de nombres aléatoires est initialisé par la graine donnée. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Une deuxième graine pour éviter les collisions entre les graines. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Une liste de dénombrements ou de probabilités d'unigrammes, un par identifiant dans l'ordre séquentiel. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Chaque ligne valide de ce fichier (qui doit avoir un format similaire à CSV) correspond à un identifiant de mot valide. |
attributs publics
distorsion_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
nombre_d'identifiants_réservés
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
nombre_de_fragments_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
graine2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
graine_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
tesson_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigrammes_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}fichier_vocabulaire
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
fonctions publiques
Distorsion
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
La distorsion est utilisée pour fausser la distribution de probabilité unigramme.
Chaque poids est d'abord élevé à la puissance de la distorsion avant d'être ajouté à la distribution interne des unigrammes. Par conséquent, une distorsion de 1,0 correspond à un échantillonnage régulier des unigrammes (tel que défini par le fichier de vocabulaire), et une distorsion de 0,0 à une distribution uniforme.
Valeur par défaut : 1
Nombre d'identifiants réservés
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Les utilisateurs peuvent éventuellement ajouter des identifiants réservés dans la plage [0, ..., num_reserved_ids).
Un cas d'utilisation consiste à utiliser un jeton de mot inconnu spécial comme ID 0. Ces ID auront une probabilité d'échantillonnage de 0.
Valeur par défaut : 0
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Ce paramètre (associé à « shard ») indique le nombre de partitions utilisées dans le calcul global.
Valeur par défaut : 1
Graine
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Si seed ou seed2 sont définis comme non nuls, le générateur de nombres aléatoires est initialisé par la graine donnée.
Sinon, il est initialisé avec une graine aléatoire.
Valeur par défaut : 0
Graine2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Une deuxième graine pour éviter les collisions entre les graines.
Valeur par défaut : 0
Tesson
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Un échantillonneur peut être utilisé pour prélever un échantillon à partir d'un sous-ensemble de la plage d'origine afin d'accélérer l'ensemble du calcul grâce au parallélisme.
Ce paramètre (associé à 'num_shards') indique le numéro de partition particulier d'une opération d'échantillonnage, lorsque le partitionnement est utilisé.
Valeur par défaut : 0
Unigrammes
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Une liste de dénombrements ou de probabilités d'unigrammes, un par identifiant dans l'ordre séquentiel.
Exactement l'un des fichiers vocab_file ou unigrams doit être passé à cette opération.
Valeur par défaut : []
Fichier de vocabulaire
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Chaque ligne valide de ce fichier (qui doit avoir un format similaire à CSV) correspond à un identifiant de mot valide.
Les identifiants sont séquentiels, à partir de `num_reserved_ids`. La dernière valeur de chaque ligne doit correspondre au nombre d'occurrences ou à la probabilité relative. Seule l'une des valeurs `vocab_file` ou `unigrams` doit être fournie à cette opération.
Par défaut, ""