O Dia da Comunidade de ML é dia 9 de novembro! Junte-nos para atualização de TensorFlow, JAX, e mais Saiba mais

Introdução ao tensor de fatiamento

Ver no TensorFlow.org Executar no Google Colab Ver fonte no GitHub Baixar caderno

Ao trabalhar em aplicativos de ML, como detecção de objetos e PNL, às vezes é necessário trabalhar com subseções (fatias) de tensores. Por exemplo, se a arquitetura do seu modelo inclui roteamento, onde uma camada pode controlar qual exemplo de treinamento é roteado para a próxima camada. Nesse caso, você poderia usar operações de fatiamento de tensores para dividir os tensores e colocá-los novamente juntos na ordem certa.

Em aplicativos de PNL, você pode usar o fatiamento de tensor para realizar o mascaramento de palavras durante o treinamento. Por exemplo, você pode gerar dados de treinamento a partir de uma lista de frases, escolhendo um índice de palavras para mascarar em cada frase, retirando a palavra como um rótulo e, em seguida, substituindo a palavra escolhida por um token de máscara.

Neste guia, você aprenderá a usar as APIs do TensorFlow para:

  • Extraia fatias de um tensor
  • Insira dados em índices específicos em um tensor

Este guia pressupõe familiaridade com indexação de tensor. Leia as seções de indexação dos Tensor e TensorFlow Numpy guias antes de começar com este guia.

Configurar

import tensorflow as tf
import numpy as np

Extrair fatias de tensor

Execute NumPy-like corte tensor usando tf.slice .

t1 = tf.constant([0, 1, 2, 3, 4, 5, 6, 7])

print(tf.slice(t1,
               begin=[1],
               size=[3]))
tf.Tensor([1 2 3], shape=(3,), dtype=int32)

Como alternativa, você pode usar uma sintaxe mais Pythônica. Observe que as fatias do tensor são espaçadas uniformemente em um intervalo start-stop.

print(t1[1:4])
tf.Tensor([1 2 3], shape=(3,), dtype=int32)

print(t1[-3:])
tf.Tensor([5 6 7], shape=(3,), dtype=int32)

Para tensores bidimensionais, você pode usar algo como:

t2 = tf.constant([[0, 1, 2, 3, 4],
                  [5, 6, 7, 8, 9],
                  [10, 11, 12, 13, 14],
                  [15, 16, 17, 18, 19]])

print(t2[:-1, 1:3])
tf.Tensor(
[[ 1  2]
 [ 6  7]
 [11 12]], shape=(3, 2), dtype=int32)

Você pode usar tf.slice em tensores de dimensões superiores também.

t3 = tf.constant([[[1, 3, 5, 7],
                   [9, 11, 13, 15]],
                  [[17, 19, 21, 23],
                   [25, 27, 29, 31]]
                  ])

print(tf.slice(t3,
               begin=[1, 1, 0],
               size=[1, 1, 2]))
tf.Tensor([[[25 27]]], shape=(1, 1, 2), dtype=int32)

Você também pode usar tf.strided_slice a fatias extrato de tensores por 'caminhando' sobre as dimensões do tensor.

Use tf.gather a índices de extrato específico de um único eixo de um tensor.

print(tf.gather(t1,
                indices=[0, 3, 6]))

# This is similar to doing

t1[::3]
tf.Tensor([0 3 6], shape=(3,), dtype=int32)
<tf.Tensor: shape=(3,), dtype=int32, numpy=array([0, 3, 6], dtype=int32)>

tf.gather não requer índices para ser uniformemente espaçadas.

alphabet = tf.constant(list('abcdefghijklmnopqrstuvwxyz'))

print(tf.gather(alphabet,
                indices=[2, 0, 19, 18]))
tf.Tensor([b'c' b'a' b't' b's'], shape=(4,), dtype=string)

Para extrair fatias de vários eixos de um tensor, o uso tf.gather_nd . Isso é útil quando você deseja reunir os elementos de uma matriz em vez de apenas suas linhas ou colunas.

t4 = tf.constant([[0, 5],
                  [1, 6],
                  [2, 7],
                  [3, 8],
                  [4, 9]])

print(tf.gather_nd(t4,
                   indices=[[2], [3], [0]]))
tf.Tensor(
[[2 7]
 [3 8]
 [0 5]], shape=(3, 2), dtype=int32)

t5 = np.reshape(np.arange(18), [2, 3, 3])

print(tf.gather_nd(t5,
                   indices=[[0, 0, 0], [1, 2, 1]]))
tf.Tensor([ 0 16], shape=(2,), dtype=int64)
# Return a list of two matrices

print(tf.gather_nd(t5,
                   indices=[[[0, 0], [0, 2]], [[1, 0], [1, 2]]]))
tf.Tensor(
[[[ 0  1  2]
  [ 6  7  8]]

 [[ 9 10 11]
  [15 16 17]]], shape=(2, 2, 3), dtype=int64)
# Return one matrix

print(tf.gather_nd(t5,
                   indices=[[0, 0], [0, 2], [1, 0], [1, 2]]))
tf.Tensor(
[[ 0  1  2]
 [ 6  7  8]
 [ 9 10 11]
 [15 16 17]], shape=(4, 3), dtype=int64)

Insira dados em tensores

Uso tf.scatter_nd para inserir dados em fatias / índices específicos de um tensor. Observe que o tensor no qual você insere valores é inicializado com zero.

t6 = tf.constant([10])
indices = tf.constant([[1], [3], [5], [7], [9]])
data = tf.constant([2, 4, 6, 8, 10])

print(tf.scatter_nd(indices=indices,
                    updates=data,
                    shape=t6))
tf.Tensor([ 0  2  0  4  0  6  0  8  0 10], shape=(10,), dtype=int32)

Métodos como tf.scatter_nd que exigem zero inicializado tensores são semelhantes aos escasso tensor initializers. Você pode usar tf.gather_nd e tf.scatter_nd para imitar o comportamento de ops tensor esparsas.

Considere um exemplo em que você constrói um tensor esparso usando esses dois métodos em conjunto.

# Gather values from one tensor by specifying indices

new_indices = tf.constant([[0, 2], [2, 1], [3, 3]])
t7 = tf.gather_nd(t2, indices=new_indices)

# Add these values into a new tensor

t8 = tf.scatter_nd(indices=new_indices, updates=t7, shape=tf.constant([4, 5]))

print(t8)
tf.Tensor(
[[ 0  0  2  0  0]
 [ 0  0  0  0  0]
 [ 0 11  0  0  0]
 [ 0  0  0 18  0]], shape=(4, 5), dtype=int32)

Isso é semelhante a:

t9 = tf.SparseTensor(indices=[[0, 2], [2, 1], [3, 3]],
                     values=[2, 11, 18],
                     dense_shape=[4, 5])

print(t9)
SparseTensor(indices=tf.Tensor(
[[0 2]
 [2 1]
 [3 3]], shape=(3, 2), dtype=int64), values=tf.Tensor([ 2 11 18], shape=(3,), dtype=int32), dense_shape=tf.Tensor([4 5], shape=(2,), dtype=int64))
# Convert the sparse tensor into a dense tensor

t10 = tf.sparse.to_dense(t9)

print(t10)
tf.Tensor(
[[ 0  0  2  0  0]
 [ 0  0  0  0  0]
 [ 0 11  0  0  0]
 [ 0  0  0 18  0]], shape=(4, 5), dtype=int32)

Para inserir dados em um tensor com valores pré-existentes, o uso tf.tensor_scatter_nd_add .

t11 = tf.constant([[2, 7, 0],
                   [9, 0, 1],
                   [0, 3, 8]])

# Convert the tensor into a magic square by inserting numbers at appropriate indices

t12 = tf.tensor_scatter_nd_add(t11,
                               indices=[[0, 2], [1, 1], [2, 0]],
                               updates=[6, 5, 4])

print(t12)
tf.Tensor(
[[2 7 6]
 [9 5 1]
 [4 3 8]], shape=(3, 3), dtype=int32)

Da mesma forma, o uso tf.tensor_scatter_nd_sub para subtrair os valores de um tensor com valores pré-existentes.

# Convert the tensor into an identity matrix

t13 = tf.tensor_scatter_nd_sub(t11,
                               indices=[[0, 0], [0, 1], [1, 0], [1, 1], [1, 2], [2, 1], [2, 2]],
                               updates=[1, 7, 9, -1, 1, 3, 7])

print(t13)
tf.Tensor(
[[1 0 0]
 [0 1 0]
 [0 0 1]], shape=(3, 3), dtype=int32)

Use tf.tensor_scatter_nd_min para copiar valores mínimos elemento-wise de um tensor para o outro.

t14 = tf.constant([[-2, -7, 0],
                   [-9, 0, 1],
                   [0, -3, -8]])

t15 = tf.tensor_scatter_nd_min(t14,
                               indices=[[0, 2], [1, 1], [2, 0]],
                               updates=[-6, -5, -4])

print(t15)
tf.Tensor(
[[-2 -7 -6]
 [-9 -5  1]
 [-4 -3 -8]], shape=(3, 3), dtype=int32)

Da mesma forma, o uso tf.tensor_scatter_nd_max para copiar os valores máximos de elemento a elemento a partir de um tensor para o outro.

t16 = tf.tensor_scatter_nd_max(t14,
                               indices=[[0, 2], [1, 1], [2, 0]],
                               updates=[6, 5, 4])

print(t16)
tf.Tensor(
[[-2 -7  6]
 [-9  5  1]
 [ 4 -3 -8]], shape=(3, 3), dtype=int32)

Leitura adicional e recursos

Neste guia, você aprendeu a usar as operações de fatiamento de tensor disponíveis com o TensorFlow para exercer um controle mais preciso sobre os elementos em seus tensores.