XlaSendTPUEmbeddingGradients

clase final pública XlaSendTPUEmbeddingGradients

Una operación que realiza actualizaciones de gradiente de tablas de incrustación.

El argumento de gradientes es una TensorList que tiene la misma longitud y formas que el valor de retorno de XlaRecvTPUEmbeddingActivations, pero contiene gradientes de la pérdida del modelo con respecto a las activaciones de incrustación. Las tablas de incrustación se actualizan a partir de estos gradientes a través del optimizador especificado en el protocolo TPUEmbeddingConfiguration proporcionado a tpu.initialize_system.

Métodos públicos

estático XlaSendTPUEmbeddingGradients
crear ( Ámbito de alcance, Iterable< Operando <Flotante>> gradientes, Iterable< Operando <Flotante>> tasas de aprendizaje, Operando <?> deduplicationData, Configuración de cadena)
Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.

Métodos Heredados

Métodos públicos

XlaSendTPUEmbeddingGradients estáticos públicos crear ( Ámbito de alcance, Iterable< Operando <Flotante>> gradientes, Iterable< Operando <Flotante>> tasas de aprendizaje, Operando <?> datos de deduplicación, Configuración de cadena)

Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.

Parámetros
alcance alcance actual
gradientes Una TensorList de degradados con los que actualizar las tablas de incrustación.
tasas de aprendizaje Una TensorList de tasas de aprendizaje utilizadas para actualizar las tablas de incrustación a través del optimizador. La longitud de TensorList debe ser igual a la cantidad de etiquetas de índice de aprendizaje dinámico especificadas en el protocolo TPUEmbeddingConfiguration.
datos de deduplicación Un tensor con type=DT_VARIANT que contiene los datos de deduplicación. El tensor es una tupla anidada XLA que contiene N elementos (donde N es la proporción del número de incrustaciones a núcleos tensoriales por chip de TPU). Cada elemento de la tupla anidada es una tupla de tensores de rango 1. Cada tensor contiene índices (DT_UINT32) para incrustar la búsqueda en TensorCore o pesos (DT_FLOAT) para aplicar a la salida de la operación de incrustación de búsqueda.
configuración Proto de configuración de integración de TPU serializado.
Devoluciones
  • una nueva instancia de XlaSendTPUEmbeddingGradients