classe finale pubblica XlaSendTPUEmbeddingGradients
Un'operazione che esegue aggiornamenti gradienti delle tabelle incorporate.
L'argomento gradienti è un TensorList avente la stessa lunghezza e forma del valore restituito di XlaRecvTPUEmbeddingActivations, ma contiene gradienti della perdita del modello rispetto alle attivazioni di incorporamento. Le tabelle di incorporamento vengono aggiornate da questi gradienti tramite l'ottimizzatore specificato nel protocollo TPUEmbeddingConfiguration fornito a tpu.initialize_system.
Metodi pubblici
| XlaSendTPUEmbeddingGradients statici | create ( ambito di applicazione , gradienti Iterable< operando <Float>>, iterable< operando <Float>> learningRates, operando <?> deduplicationData, configurazione stringa) Metodo factory per creare una classe che racchiude una nuova operazione XlaSendTPUEmbeddingGradients. |
Metodi ereditati
Metodi pubblici
creazione XlaSendTPUEmbeddingGradients pubblica statica (ambito di applicazione , gradienti Iterable< operando <Float>>, iterable< operando <Float>> learningRates, operando <?> deduplicationData, configurazione stringa)
Metodo factory per creare una classe che racchiude una nuova operazione XlaSendTPUEmbeddingGradients.
Parametri
| scopo | ambito attuale |
|---|---|
| gradienti | Un TensorList di gradienti con cui aggiornare le tabelle di incorporamento. |
| Tassi di apprendimento | Un TensorList di tassi di apprendimento utilizzato per aggiornare le tabelle di incorporamento tramite l'ottimizzatore. La lunghezza di TensorList deve essere uguale al numero di tag di velocità di apprendimento dinamico specificati nel protocollo TPUEmbeddingConfiguration. |
| deduplicazioneData | Un tensore con tipo=DT_VARIANT contenente i dati di deduplicazione. Il tensore è una tupla annidata XLA contenente N elementi (dove N è il rapporto tra il numero di incorporamenti e i nuclei tensoriali per chip TPU). Ogni elemento della tupla annidata è una tupla di tensori di rango 1. Ogni tensore contiene indici (DT_UINT32) per la ricerca di incorporamento su TensorCore o pesi (DT_FLOAT) da applicare all'output dell'operazione di ricerca di incorporamento. |
| config | Prototipo TPUEmbeddingConfiguration serializzato. |
ritorna
- una nuova istanza di XlaSendTPUEmbeddingGradients