CrossReplicaSum

clase final pública CrossReplicaSum

Una operación para sumar entradas entre instancias de TPU replicadas.

Cada instancia proporciona su propia entrada.

Por ejemplo, supongamos que hay 8 instancias de TPU: `[A, B, C, D, E, F, G, H]`. Al pasar group_assignment=`[[0,2,4,6],[1,3,5,7]]` se establece `A, C, E, G` como grupo 0 y `B, D, F, H` como grupo 1. Así obtenemos las salidas: `[A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+ G, B+D+F+H, A+C+E+G, B+D+F+H]`.

Métodos públicos

Salida <T>
como salida ()
Devuelve el identificador simbólico de un tensor.
estático <T extiende Número> CrossReplicaSum <T>
crear (alcance alcance , entrada de operando <T>, asignación de grupo de operando <entero>)
Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.
Salida <T>
producción ()
La suma de todas las entradas distribuidas.

Métodos heredados

Métodos públicos

Salida pública <T> como Salida ()

Devuelve el identificador simbólico de un tensor.

Las entradas a las operaciones de TensorFlow son salidas de otra operación de TensorFlow. Este método se utiliza para obtener un identificador simbólico que representa el cálculo de la entrada.

creación pública estática CrossReplicaSum <T> (alcance del alcance , entrada del operando <T>, asignación de grupo del operando <Integer>)

Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.

Parámetros
alcance alcance actual
aporte La entrada local a la suma.
asignación grupal Un tensor int32 con forma [num_groups, num_replicas_per_group]. `group_assignment[i]` representa los identificadores de réplica en el subgrupo i.
Devoluciones
  • una nueva instancia de CrossReplicaSum

Salida pública <T> salida ()

La suma de todas las entradas distribuidas.