Batch

Agrupa todos los tensores de entrada por lotes de forma no determinista.

Cuando se ejecutan muchas instancias de esta operación simultáneamente con el mismo contenedor/nombre_compartido en el mismo dispositivo, algunas generarán tensores con forma de cero y otras generarán tensores de tamaño hasta max_batch_size.

Todos los tensores en in_tensors se agrupan por lotes (por lo que, por ejemplo, las etiquetas y las características se deben agrupar con una única instancia de esta operación).

Cada invocación de lote emite un escalar "id" que se utilizará para identificar esta invocación particular al realizar un desbatch o su gradiente.

Cada operación que emite un lote no vacío también emitirá un tensor de índice de lote no vacío, que es una matriz [K, 3] donde cada fila contiene la identificación de la invocación, el inicio y la longitud de los elementos de cada conjunto de tensores presentes en tensores_por lotes.

Los tensores por lotes se concatenan a lo largo de la primera dimensión y todos los tensores en in_tensors deben tener la primera dimensión del mismo tamaño.

in_tensors: los tensores que se van a agrupar. num_batch_threads: número de subprocesos de programación para procesar lotes de trabajo. Determina el número de lotes procesados ​​en paralelo. max_batch_size: los tamaños de lote nunca serán mayores que esto. Batch_timeout_micros: número máximo de microsegundos que se deben esperar antes de generar un lote incompleto. Allow_batch_sizes: lista opcional de tamaños de lote permitidos. Si se deja vacío, no hace nada. De lo contrario, proporciona una lista de tamaños de lote, lo que hace que la opción rellene los lotes hasta uno de esos tamaños. Las entradas deben aumentar de forma monótona y la entrada final debe ser igual a max_batch_size. grad_timeout_micros: el tiempo de espera que se utilizará para el gradiente. Consulte Deshacer lotes. lotes_tensores: tensores vacíos o un lote de tensores concatenados. lote_index: si out_tensors no está vacío, tiene información para invertirlo. contenedor: controla el alcance del intercambio de este lote. id: siempre contiene un escalar con un ID único para esta invocación de Batch. nombre_compartido: instancias de lote que se ejecutan simultáneamente en el mismo dispositivo con el mismo contenedor y nombre_compartido agruparán sus elementos. Si se deja vacío, el nombre de la operación se utilizará como nombre compartido. T: los tipos de tensores que se van a agrupar.