LoadAllTPUEmbeddingParameters

パブリック最終クラスLoadAllTPUEmbeddingParameters

最適化パラメータを埋め込みメモリにロードする操作。

最適化パラメータを埋め込みメモリにロードする操作。正しい埋め込みテーブル構成を設定する ConfigureTPUEmbeddingHost オペレーションを前に置く必要があります。たとえば、この操作は、トレーニング ループが実行される前にチェックポイントからロードされるパラメーターをインストールするために使用されます。 Adagrad の場合、auxiliary1 がアキュムレータである必要があります。 SGD の場合、すべての補助* 値は空である必要があります。 FTRL の場合、auxiliary1 はアキュムレータ、auxiliary2 は線形項である必要があります。 ADAM の場合、auxiliary1 は運動量、auxiliary2 は速度である必要があります。

パブリックメソッド

静的LoadAllTPUEmbeddingParameters
create (スコープスコープ、Iterable< Operand <Float>> パラメータ、Iterable< Operand <Float>>auxiliary1、Iterable< Operand <Float>>auxiliary2、Iterable< Operand <Float>>auxiliary3、Iterable< Operand <Float>>auxiliary4、 Iterable< Operand <Float>>auxiliary5、Iterable< Operand <Float>>auxiliary6、Iterable< Operand <Float>>auxiliary7、String config、Long numShards、Long shardId)
新しい LoadAllTPUEmbeddingParameters オペレーションをラップするクラスを作成するファクトリ メソッド。

継承されたメソッド

パブリックメソッド

public static LoadAllTPUEmbeddingParameters create (スコープスコープ、Iterable< Operand <Float>> パラメータ、Iterable< Operand <Float>>auxiliary1、Iterable< Operand <Float>>auxiliary2、Iterable< Operand <Float>>auxiliary3、Iterable< Operand <Float> >auxiliary4、Iterable< Operand <Float>>auxiliary5、Iterable< Operand <Float>>auxiliary6、Iterable< Operand <Float>>auxiliary7、String config、Long numShards、Long shardId)

新しい LoadAllTPUEmbeddingParameters オペレーションをラップするクラスを作成するファクトリ メソッド。

パラメーター
範囲現在のスコープ
パラメーターテンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みルックアップで使用する初期の埋め込みテーブル パラメーターが含まれます。
補助1テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する最初の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに少なくとも 1 つの補助パラメータがないテーブルでは、各エントリの形状は無視されます (したがって、空になる可能性があります)。
補助2テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 2 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに少なくとも 2 つの補助関数が含まれていないテーブルでは、各エントリの形状は無視されます (したがって空になる可能性があります)。
補助3テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 3 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに 3 つの補助パラメータがないテーブルでは、各エントリの形状は無視されます (したがって、空になる可能性があります)。
補助4テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 2 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに少なくとも 4 つの補助要素が含まれていないテーブルでは、各エントリの形状は無視されます (したがって空になる可能性があります)。
補助5テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 3 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに 5 つの補助パラメータがないテーブルでは、各エントリの形状は無視されます (したがって、空になる可能性があります)。
補助6テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 2 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに少なくとも 6 つの補助要素が含まれていないテーブルでは、各エントリの形状は無視されます (したがって空になる可能性があります)。
補助7テンソルのリスト (各埋め込みテーブルに 1 つ)。埋め込みトレーニング ループの更新で使用する 3 番目の補助最適化パラメーターの初期値が含まれます。最適化アルゴリズムに sevan 補助パラメータが含まれていないテーブルでは、各エントリの形状は無視されます (したがって、空になる可能性があります)。
構成ロードされ、文字列にシリアル化されるテーブル パラメーターを記述する TPUEmbeddingConfiguration プロト。
シャード数埋め込みテーブルが分割されるシャードの数。
シャードIDこの操作のシャードの識別子。
戻り値
  • LoadAllTPUEmbeddingParameters の新しいインスタンス