AllToAll

AllToAll classe final pública

Uma op para trocar dados entre réplicas de TPU.

Em cada réplica, a entrada é dividida em blocos `split_count` ao longo de` split_dimension` e enviada para as outras réplicas dadas group_assignment. Depois de receber `split_count` - 1 bloco de outras réplicas, concatenamos os blocos ao longo de` concat_dimension` como saída.

Por exemplo, suponha que haja 2 réplicas de TPU: a réplica 0 recebe a entrada: `[[A, B]]` a réplica 1 recebe a entrada: `[[C, D]]`

group_assignment = `[[0, 1]]` concat_dimension = 0 split_dimension = 1 split_count = 2

saída da réplica 0: `[[A], [C]]` saída da réplica 1: `[[B], [D]]`

Constantes

Fragmento OP_NAME O nome desta operação, conforme conhecido pelo motor principal TensorFlow

Métodos Públicos

Output <T>
asOutput ()
Retorna o identificador simbólico do tensor.
estática <T estende TType > AllToAll <T>
criar ( Scope escopo, Operando <T> entrada, Operando < TInt32 > groupAssignment, Long concatDimension, Long splitDimension, Long splitCount)
Método de fábrica para criar uma classe envolvendo uma nova operação AllToAll.
Output <T>
saída ()
O resultado trocado.

Métodos herdados

Constantes

nome_op final String public static

O nome desta operação, conforme conhecido pelo motor principal TensorFlow

Valor constante: "AllToAll"

Métodos Públicos

pública Output <T> asOutput ()

Retorna o identificador simbólico do tensor.

As entradas para as operações do TensorFlow são saídas de outra operação do TensorFlow. Este método é usado para obter um identificador simbólico que representa o cálculo da entrada.

public static AllToAll <T> create ( Scope escopo, Operando <T> entrada, Operando < TInt32 > groupAssignment, Long concatDimension, Long splitDimension, Long splitCount)

Método de fábrica para criar uma classe envolvendo uma nova operação AllToAll.

Parâmetros
alcance escopo atual
entrada A entrada local para a soma.
groupAssignment Um tensor int32 com forma [num_groups, num_replicas_per_group]. `group_assignment [i]` representa os ids de réplica no iº subgrupo.
concatDimension O número da dimensão a concatenar.
splitDimension O número da dimensão a ser dividida.
splitCount O número de divisões, este número deve ser igual ao tamanho do subgrupo (group_assignment.get_shape () [1])
Devoluções
  • uma nova instância de AllToAll

pública Output <T> de saída ()

O resultado trocado.