LoadAllTPUEmbeddingParameters

classe finale publique LoadAllTPUEmbeddingParameters

Une opération qui charge les paramètres d'optimisation dans la mémoire d'intégration.

Une opération qui charge les paramètres d'optimisation dans la mémoire d'intégration. Doit être précédé d'une opération ConfigureTPUEmbeddingHost qui configure la configuration correcte de la table d'intégration. Par exemple, cette opération est utilisée pour installer les paramètres chargés à partir d'un point de contrôle avant l'exécution d'une boucle de formation. Pour Adagrad, les auxiliaires1 devraient être les accumulateurs. Pour SGD, toutes les valeurs auxiliaires* doivent être vides. Pour FTRL, auxiliaire1 doit être les accumulateurs et auxiliaire2 doit être les termes linéaires. Pour ADAM, auxiliaire1 devrait être l’impulsion et auxiliaire2 devrait être les vitesses.

Méthodes publiques

statique LoadAllTPUEmbeddingParameters
créer ( Portée de portée , Paramètres Iterable< Opérande <Float>>, Iterable< Opérande <Float>> auxiliaire1, Iterable< Opérande <Float>> auxiliaire2, Iterable< Opérande <Float>> auxiliaire3, Iterable< Opérande <Float>> auxiliaire4, Iterable< Opérande <Float>> auxiliaire5, Iterable< Opérande <Float>> auxiliaire6, Iterable< Opérande <Float>> auxiliaire7, Configuration de chaîne, Long numShards, Long shardId)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération LoadAllTPUEmbeddingParameters.

Méthodes héritées

Méthodes publiques

public static LoadAllTPUEmbeddingParameters créer ( Scope scope, Iterable< Operand <Float>> paramètres, Iterable< Operand <Float>> auxiliaire1, Iterable< Operand <Float>> auxiliaire2, Iterable< Operand <Float>> auxiliaire3, Iterable< Operand <Float> > auxiliaire4, Iterable< Opérande <Float>> auxiliaire5, Iterable< Opérande <Float>> auxiliaire6, Iterable< Opérande <Float>> auxiliaire7, Configuration de chaîne, Long numShards, Long shardId)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération LoadAllTPUEmbeddingParameters.

Paramètres
portée portée actuelle
paramètres Une liste de tenseurs, un pour chaque table d'intégration, contenant les paramètres initiaux de la table d'intégration à utiliser dans les recherches d'intégration.
auxiliaire1 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du premier paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas au moins un paramètre auxiliaire.
auxiliaire2 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du deuxième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas au moins deux auxiliaires.
auxiliaire3 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du troisième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas trois paramètres auxiliaires.
auxiliaire4 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du deuxième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas au moins quatre auxiliaires.
auxiliaire5 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du troisième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas cinq paramètres auxiliaires.
auxiliaire6 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du deuxième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas au moins six auxiliaires.
auxiliaire7 Une liste de tenseurs, un pour chaque table d'intégration, contenant les valeurs initiales du troisième paramètre d'optimisation auxiliaire à utiliser pour intégrer les mises à jour de la boucle de formation. La forme de chaque entrée est ignorée (et peut donc être vide) pour les tables dont les algorithmes d'optimisation n'ont pas de paramètres auxiliaires sevan.
configuration Un prototype TPUEmbeddingConfiguration décrivant les paramètres de table en cours de chargement, sérialisés en une chaîne.
nombre de fragments Nombre de fragments dans lesquels les tables d'intégration sont divisées.
ID de fragment Identifiant du fragment pour cette opération.
Retour
  • une nouvelle instance de LoadAllTPUEmbeddingParameters