tensorflow:: ops:: FixedUnigramCandidateSampler:: Attrs
#include <candidate_sampling_ops.h>FixedUnigramCandidateSamplerのオプション属性セッター。
まとめ
公開属性 | |
|---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
公的機能 | |
|---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrsこの歪みは、単語の出現確率分布を歪めるために用いられる。 |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrsオプションとして、ユーザーは[0, ..., num_reserved_ids)の範囲内で予約済みIDを追加できます。 |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrsサンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。 |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs seedまたはseed2のいずれかがゼロ以外の値に設定されている場合、乱数生成器は指定されたシード値によって初期化されます。 |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrsシードの衝突を避けるための2つ目のシード。 |
Shard (int64 x) | TF_MUST_USE_RESULT Attrsサンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。 |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs単語の出現回数または出現確率のリスト。IDごとに1つずつ、順番に並べられています。 |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrsこのファイル(CSV形式であるはずです)内の有効な各行は、有効な単語IDに対応しています。 |
公開属性
ねじれ_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
予約済みID数_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
シャード数_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
シード2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
シード_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
シャード_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
単語_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}語彙ファイル_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
公的機能
ねじれ
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
この歪みは、単語の出現確率分布を歪めるために用いられる。
各重みは、まず歪みのべき乗に上げられてから、内部の単語分布に加算されます。その結果、歪み=1.0の場合は規則的な単語サンプリング(語彙ファイルで定義されている通り)となり、歪み=0.0の場合は均一分布となります。
デフォルト値は1です
予約済みIDの数
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
オプションとして、ユーザーは[0, ..., num_reserved_ids)の範囲内で予約済みIDを追加できます。
使用例の一つとして、特別な未知の単語トークンをID 0として使用する場合が挙げられます。これらのIDのサンプリング確率は0となります。
デフォルト値は0です
ナムシャード
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。
このパラメータ(「shard」パラメータと併せて)は、全体の計算で使用されるパーティションの数を示します。
デフォルト値は1です
シード
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
seedまたはseed2のいずれかがゼロ以外の値に設定されている場合、乱数生成器は指定されたシード値によって初期化されます。
それ以外の場合は、乱数シードによって初期化されます。
デフォルト値は0です
シード2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
シードの衝突を避けるための2つ目のシード。
デフォルト値は0です
破片
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。
このパラメータ(「num_shards」と併せて)は、パーティショニングが使用されている場合に、サンプラー操作の特定のパーティション番号を示します。
デフォルト値は0です
ユニグラム
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
単語の出現回数または出現確率のリスト。IDごとに1つずつ、順番に並べられています。
vocab_file と unigrams のうち、どちらか一方のみをこの操作に渡す必要があります。
デフォルトは[]
語彙ファイル
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
このファイル(CSV形式であるはずです)内の有効な各行は、有効な単語IDに対応しています。
IDはnum_reserved_idsから始まる連番です。各行の最後のエントリは、出現回数または相対確率に対応する値である必要があります。vocab_fileとunigramsのうち、いずれか一方のみをこの操作に渡す必要があります。
デフォルトは ""