tensorflow:: ops:: FixedUnigramCandidateSampler:: Attrs

#include <candidate_sampling_ops.h>

FixedUnigramCandidateSamplerのオプション属性セッター。

まとめ

公開属性

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

公的機能

Distortion (float x)
TF_MUST_USE_RESULT Attrs
この歪みは、単語の出現確率分布を歪めるために用いられる。
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
オプションとして、ユーザーは[0, ..., num_reserved_ids)の範囲内で予約済みIDを追加できます。
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
seedまたはseed2のいずれかがゼロ以外の値に設定されている場合、乱数生成器は指定されたシード値によって初期化されます。
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
シードの衝突を避けるための2つ目のシード。
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
単語の出現回数または出現確率のリスト。IDごとに1つずつ、順番に並べられています。
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
このファイル(CSV形式であるはずです)内の有効な各行は、有効な単語IDに対応しています。

公開属性

ねじれ_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

予約済みID数_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

シャード数_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

シード2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

シード_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

シャード_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

単語_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

語彙ファイル_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

公的機能

ねじれ

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

この歪みは、単語の出現確率分布を歪めるために用いられる。

各重みは、まず歪みのべき乗に上げられてから、内部の単語分布に加算されます。その結果、歪み=1.0の場合は規則的な単語サンプリング(語彙ファイルで定義されている通り)となり、歪み=0.0の場合は均一分布となります。

デフォルト値は1です

予約済みIDの数

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

オプションとして、ユーザーは[0, ..., num_reserved_ids)の範囲内で予約済みIDを追加できます。

使用例の一つとして、特別な未知の単語トークンをID 0として使用する場合が挙げられます。これらのIDのサンプリング確率は0となります。

デフォルト値は0です

ナムシャード

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。

このパラメータ(「shard」パラメータと併せて)は、全体の計算で使用されるパーティションの数を示します。

デフォルト値は1です

シード

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

seedまたはseed2のいずれかがゼロ以外の値に設定されている場合、乱数生成器は指定されたシード値によって初期化されます。

それ以外の場合は、乱数シードによって初期化されます。

デフォルト値は0です

シード2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

シードの衝突を避けるための2つ目のシード。

デフォルト値は0です

破片

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

サンプラーを使用すると、元の範囲のサブセットからサンプリングすることで、並列処理によって計算全体を高速化できます。

このパラメータ(「num_shards」と併せて)は、パーティショニングが使用されている場合に、サンプラー操作の特定のパーティション番号を示します。

デフォルト値は0です

ユニグラム

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

単語の出現回数または出現確率のリスト。IDごとに1つずつ、順番に並べられています。

vocab_file と unigrams のうち、どちらか一方のみをこの操作に渡す必要があります。

デフォルトは[]

語彙ファイル

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

このファイル(CSV形式であるはずです)内の有効な各行は、有効な単語IDに対応しています。

IDはnum_reserved_idsから始まる連番です。各行の最後のエントリは、出現回数または相対確率に対応する値である必要があります。vocab_fileとunigramsのうち、いずれか一方のみをこの操作に渡す必要があります。

デフォルトは ""