XlaSendTPUEmbeddingGradients

clase final pública XlaSendTPUEmbeddingGradients

Una operación que realiza actualizaciones de gradiente de tablas de incrustación.

El argumento de gradientes es una TensorList que tiene la misma longitud y forma que el valor de retorno de XlaRecvTPUEmbeddingActivations, pero contiene gradientes de pérdida del modelo con respecto a las activaciones de incrustación. Las tablas de incrustación se actualizan a partir de estos gradientes a través del optimizador especificado en el protocolo TPUEmbeddingConfiguration proporcionado a tpu.initialize_system.

Métodos públicos

XlaSendTPUEmbeddingGradients estáticos
crear ( alcance alcance, Iterable< Operando <Float>> gradientes, Iterable< Operando <Float>> tasas de aprendizaje, Operando <?> deduplicationData, configuración de cadena)
Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.

Métodos heredados

Métodos públicos

XlaSendTPUEmbeddingGradients estáticos públicos crean ( alcance , Iterable < Operando <Float>> gradientes, Iterable < Operando <Float>> learningRates, Operando <?> deduplicationData, configuración de cadena)

Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.

Parámetros
alcance alcance actual
gradientes Una TensorList de gradientes con los que actualizar tablas de incrustación.
aprendizajeTarifas Una TensorList de tasas de aprendizaje utilizadas para actualizar las tablas de incrustación a través del optimizador. La longitud de TensorList debe ser igual a la cantidad de etiquetas de tasa de aprendizaje dinámico especificadas en el protocolo TPUEmbeddingConfiguration.
deduplicaciónDatos Un tensor con tipo=DT_VARIANT que contiene los datos de deduplicación. El tensor es una tupla anidada XLA que contiene N elementos (donde N es la relación entre el número de incrustaciones y núcleos tensoriales por chip de TPU). Cada elemento de la tupla anidada es una tupla de tensores de rango 1. Cada tensor contiene índices (DT_UINT32) para incrustar la búsqueda en TensorCore o pesos (DT_FLOAT) para aplicar a la salida de la operación de búsqueda de incrustación.
configuración Protocolo de configuración de integración de TPU serializado.
Devoluciones
  • una nueva instancia de XlaSendTPUEmbeddingGradients