classe finale publique XlaSendTPUEmbeddingGradients
Une opération qui effectue des mises à jour dégradées des tables d'intégration.
L'argument gradients est une TensorList ayant la même longueur et les mêmes formes que la valeur de retour de XlaRecvTPUEmbeddingActivations, mais contient des gradients de perte du modèle par rapport aux activations d'intégration. Les tables d'intégration sont mises à jour à partir de ces dégradés via l'optimiseur spécifié dans le proto TPUEmbeddingConfiguration donné à tpu.initialize_system.
Méthodes publiques
| statique XlaSendTPUEmbeddingGradients |
Méthodes héritées
Méthodes publiques
public static XlaSendTPUEmbeddingGradients create ( Scope scope, Iterable< Operand <Float>> gradients, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération XlaSendTPUEmbeddingGradients.
Paramètres
| portée | portée actuelle |
|---|---|
| dégradés | Une TensorList de dégradés avec lesquels mettre à jour les tables d'intégration. |
| Tarifs d'apprentissage | Une TensorList des taux d'apprentissage utilisés pour mettre à jour les tables d'intégration via l'optimiseur. La longueur de TensorList doit être égale au nombre de balises de taux d'apprentissage dynamique spécifié dans le proto TPUEmbeddingConfiguration. |
| données de déduplication | Un Tensor avec type=DT_VARIANT contenant les données de déduplication. Le tenseur est un tuple imbriqué XLA contenant N éléments (où N est le rapport entre le nombre d'intégrations et le nombre de cœurs de tenseur par puce TPU). Chaque élément du tuple imbriqué est un tuple de tenseurs de rang 1. Chaque tenseur contient soit des indices (DT_UINT32) pour la recherche d'intégration sur le TensorCore, soit des poids (DT_FLOAT) à appliquer à la sortie de l'opération de recherche d'intégration. |
| configuration | Protocole TPUEmbeddingConfiguration sérialisé. |
Retour
- une nouvelle instance de XlaSendTPUEmbeddingGradients