LoadAllTPUEmbeddingParameters

clase final pública LoadAllTPUEmbeddingParameters

Una operación que carga parámetros de optimización en la memoria integrada.

Una operación que carga parámetros de optimización en la memoria integrada. Debe estar precedido por una operación ConfigureTPUEmbeddingHost que establece la configuración correcta de la tabla de incrustación. Por ejemplo, esta opción se usa para instalar parámetros que se cargan desde un punto de control antes de que se ejecute un ciclo de entrenamiento. Para Adagrad, auxiliar1 deberían ser los acumuladores. Para SGD, todos los valores auxiliares* deben estar vacíos. Para FTRL, auxiliar1 deberían ser los acumuladores y auxiliar2 deberían ser los términos lineales. Para ADAM, auxiliar1 deberían ser los momentos y auxiliar2 deberían ser las velocidades.

Métodos públicos

LoadAllTPUEmbeddingParameters estáticos
create ( Ámbito ámbito, Iterable< Operando <Flotante>> parámetros, Iterable< Operando <Flotante>> auxiliar1, Iterable< Operando <Flotante>> auxiliar2, Iterable< Operando <Flotante>> auxiliar3, Iterable< Operando <Flotante>> auxiliar4, Iterable< Operando <Flotante>> auxiliar5, Iterable< Operando <Flotante>> auxiliar6, Iterable< Operando <Flotante>> auxiliar7, Configuración de cadena, Long numShards, Long shardId)
Método de fábrica para crear una clase que envuelve una nueva operación LoadAllTPUEmbeddingParameters.

Métodos Heredados

Métodos públicos

public static LoadAllTPUEmbeddingParameters create ( Ámbito ámbito, Iterable< Operando <Flotante>> parámetros, Iterable< Operando <Flotante>> auxiliar1, Iterable< Operando <Flotante>> auxiliar2, Iterable< Operando <Flotante>> auxiliar3, Iterable< Operando <Flotante> > auxiliar4, Iterable< Operando <Flotante>> auxiliar5, Iterable< Operando <Flotante>> auxiliar6, Iterable< Operando <Flotante>> auxiliar7, Configuración de cadena, Número largo de fragmentos, Id de fragmento largo)

Método de fábrica para crear una clase que envuelve una nueva operación LoadAllTPUEmbeddingParameters.

Parámetros
alcance alcance actual
parámetros Una lista de tensores, uno para cada tabla de incrustación, que contiene los parámetros iniciales de la tabla de incrustación para usar en las búsquedas de incrustación.
auxiliar1 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del primer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos un parámetro auxiliar.
auxiliar2 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos dos auxiliares.
auxiliar3 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen tres parámetros auxiliares.
auxiliar4 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos cuatro auxiliares.
auxiliar5 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen cinco parámetros auxiliares.
auxiliar6 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos seis auxiliares.
auxiliar7 Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen sevan parámetros auxiliares.
configuración Un prototipo de TPUEmbeddingConfiguration que describe los parámetros de la tabla que se están cargando, serializados en una cadena.
número de fragmentos Número de fragmentos en los que se dividen las tablas de incrustación.
shardId Identificador del fragmento para esta operación.
Devoluciones
  • una nueva instancia de LoadAllTPUEmbeddingParameters