CrossReplicaSum

clase final pública CrossReplicaSum

Op para sumar entradas en instancias de TPU replicadas.

Cada instancia proporciona su propia entrada.

Por ejemplo, suponga que hay 8 instancias de TPU: `[A, B, C, D, E, F, G, H]`. Pasar group_assignment=`[[0,2,4,6],[1,3,5,7]]` establece `A, C, E, G` como grupo 0 y `B, D, F, H` como grupo 1. Así obtenemos las salidas: `[A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+ G, B+D+F+H, A+C+E+G, B+D+F+H]`.

Métodos públicos

Salida <T>
como salida ()
Devuelve el identificador simbólico de un tensor.
estático <T extiende Número> CrossReplicaSum <T>
crear ( ámbito de ámbito, entrada de operando <T>, asignación de grupo de operando <entero>)
Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.
Salida <T>
salida ()
La suma de todas las entradas distribuidas.

Métodos Heredados

Métodos públicos

salida pública <T> como salida ()

Devuelve el identificador simbólico de un tensor.

Las entradas de las operaciones de TensorFlow son salidas de otra operación de TensorFlow. Este método se utiliza para obtener un identificador simbólico que representa el cálculo de la entrada.

CrossReplicaSum <T> estático público crear ( ámbito de ámbito, entrada de operando <T>, asignación de grupo de operando <entero>)

Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.

Parámetros
alcance alcance actual
aporte La entrada local a la suma.
asignación grupal Un tensor int32 con forma [num_groups, num_replicas_per_group]. `group_assignment[i]` representa los ID de réplica en el i-ésimo subgrupo.
Devoluciones
  • una nueva instancia de CrossReplicaSum

salida pública <T> salida ()

La suma de todas las entradas distribuidas.