Batch

Agrupa todos os tensores de entrada de forma não determinística.

Quando muitas instâncias deste Op estão sendo executadas simultaneamente com o mesmo contêiner/nome_compartilhado no mesmo dispositivo, algumas produzirão Tensores em forma de zero e outras produzirão Tensores de tamanho até max_batch_size.

Todos os tensores em in_tensors são agrupados em lote (portanto, por exemplo, rótulos e recursos devem ser agrupados em lote com uma única instância desta operação.

Cada invocação de lote emite um escalar `id` que será usado para identificar esta invocação específica ao realizar o desbloqueio ou seu gradiente.

Cada operação que emite um lote não vazio também emitirá um Tensor batch_index não vazio, que é uma matriz [K, 3] onde cada linha contém o id da invocação, início e comprimento dos elementos de cada conjunto de Tensores presentes em batched_tensores.

Tensores em lote são concatenados ao longo da primeira dimensão, e todos os tensores em in_tensors devem ter a primeira dimensão do mesmo tamanho.

in_tensors: Os tensores a serem agrupados. num_batch_threads: Número de threads de agendamento para processamento de lotes de trabalho. Determina o número de lotes processados ​​em paralelo. max_batch_size: Os tamanhos dos lotes nunca serão maiores que isso. batch_timeout_micros: Número máximo de microssegundos para esperar antes de gerar um lote incompleto. permitido_batch_sizes: lista opcional de tamanhos de lote permitidos. Se deixado vazio, não faz nada. Caso contrário, fornece uma lista de tamanhos de lote, fazendo com que a operação preencha os lotes até um desses tamanhos. As entradas devem aumentar monotonicamente e a entrada final deve ser igual a max_batch_size. grad_timeout_micros: O tempo limite a ser usado para o gradiente. Consulte Cancelar lote. batched_tensors: tensores vazios ou um lote de tensores concatenados. batch_index: Se out_tensors não estiver vazio, possui informações para invertê-lo. container: Controla o escopo de compartilhamento deste lote. id: sempre contém um escalar com um ID exclusivo para esta invocação do Lote. shared_name: a execução simultânea de instâncias de lote no mesmo dispositivo com o mesmo contêiner e shared_name agrupará seus elementos. Se deixado em branco, o nome da operação será usado como nome compartilhado. T: os tipos de tensores a serem agrupados.