Estruturas

Uma concatenação de duas sequências com o mesmo tipo de elemento.

Uma visão girada em uma coleção.

Um valor derivado apagado de tipo.

O AnyDerivative tipo encaminha suas operações para uma base subjacente valor derivado arbitrário em conformidade com Differentiable e AdditiveArithmetic , que escondem as especificidades do valor subjacente.

Um array multidimensional de elementos que é uma generalização de vetores e matrizes para dimensões potencialmente mais altas.

O parâmetro genérico Scalar descreve o tipo de escalares do tensor (tais como Int32 , Float , etc).

Uma função de recuo que realiza a transposição de radiodifusão dois Tensors .

Um contexto que armazena informações contextuais de thread local usadas por APIs de aprendizado profundo, como camadas.

Use Context.local para recuperar o contexto de segmento local atual.

Exemplos:

• Defina a fase de aprendizagem atual para treinar de modo que as camadas como BatchNorm irá calcular média e variância quando aplicada aos insumos.

  Context.local.learningPhase = .training

• Defina a fase de aprendizagem atual à inferência de modo que as camadas como Dropout não vai cair fora unidades quando aplicada aos insumos.

  Context.local.learningPhase = .inference

Uma camada de convolução 1-D (por exemplo, convolução temporal ao longo de uma série temporal).

Essa camada cria um filtro de convolução que é convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução 2-D (por exemplo, convolução espacial sobre imagens).

Esta camada cria um filtro de convolução que é convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução 3-D para convolução espaço / espaço-temporal sobre imagens.

Essa camada cria um filtro de convolução que é convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução transposta 1-D (por exemplo, convolução transposta temporal sobre imagens).

Essa camada cria um filtro de convolução que é transposto-convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução transposta 2-D (por exemplo, convolução transposta espacial sobre imagens).

Essa camada cria um filtro de convolução que é transposto-convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução transposta 3-D (por exemplo, convolução transposta espacial sobre imagens).

Essa camada cria um filtro de convolução que é transposto-convolvido com a entrada da camada para produzir um tensor de saídas.

Uma camada de convolução em profundidade 2-D.

Esta camada cria filtros de convolução separáveis ​​que são convolvidos com a entrada da camada para produzir um tensor de saídas.

Uma camada para adicionar preenchimento de zero na dimensão temporal.

Uma camada para adicionar preenchimento de zero nas dimensões espaciais.

Uma camada para adicionar preenchimento de zero nas dimensões espaciais / espaço-temporais.

Uma camada de convolução separável 1-D.

Essa camada realiza uma convolução em profundidade que atua separadamente nos canais, seguida por uma convolução pontual que mistura canais.

Uma camada de convolução separável 2-D.

Essa camada realiza uma convolução em profundidade que atua separadamente nos canais, seguida por uma convolução pontual que mistura canais.

Uma camada achatada.

Uma camada achatada achatará a entrada quando aplicada sem afetar o tamanho do lote.

Uma camada de remodelagem.

Uma camada que contém uma função diferenciada personalizada.

A TensorFlow valor de tipo dinâmico que pode ser criado a partir de tipos que estejam em conformidade com TensorFlowScalar .

Representa um conjunto potencialmente grande de elementos.

Um Dataset pode ser utilizado para representar uma tubagem de entrada como uma série de elementos tensores.

O tipo que permite a iteração sobre os elementos de um conjunto de dados.

A estrutura 2-tupla-like em conformidade com TensorGroup que representa uma tupla de 2 tipos em conformidade com TensorGroup .

Uma camada de rede neural densamente conectada.

Dense implementa a operação activation(matmul(input, weight) + bias) , onde weight é uma matriz de ponderação, bias é um vector de polarização, e activation é uma função de activação elemento a elemento.

Esta camada também suporta tensores de peso 3-D com matrizes de polarização 2-D. Neste caso, a primeira dimensão de ambos é tratado como o tamanho do lote que está alinhada com a primeira dimensão de input e a variante do lote do matmul(_:_:) operação é usado, utilizando, assim, um peso e polarização diferente para cada elemento no lote de entrada.

Um dispositivo no qual Tensor s podem ser alocados.

Uma camada de eliminação.

Dropout, consiste em fixar de forma aleatória uma fracção de unidades de entrada a 0 em cada actualização durante o tempo de formação, o que ajuda a evitar overfitting.

GaussianNoise adiciona ruído amostrados de uma distribuição normal.

O ruído adicionado sempre tem média zero, mas tem um desvio padrão configurável.

GaussianDropout multiplica a entrada com o ruído amostrado a partir de uma distribuição normal com média 1,0.

Por ser uma camada de regularização, ela só fica ativa durante o tempo de treinamento. Durante inferência, GaussianDropout passa através da entrada não modificado.

Uma camada de eliminação alfa.

Alpha Dropout é um Dropout que mantém média e variância de entradas para os valores originais, a fim de garantir a propriedade auto-normalizando, mesmo após este abandono. Alpha Dropout ajusta-se bem a unidades lineares exponenciais em escala, configurando ativações aleatoriamente para o valor de saturação negativo.

Fonte: Auto-Normalizing Neural Networks: https://arxiv.org/abs/1706.02515

Uma camada de incorporação.

Embedding é efectivamente uma tabela de pesquisa que mapeia índices a partir de um vocabulário fixo às representações vetor de tamanho fixo (densa), por exemplo, [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]] .

Uma estrutura vazia representando vazio TangentVector s para camadas sem parâmetros.

Par de primeiro e segundo momentos (ou seja, média e variância).

Uma camada de dilatação morfológica 2-D

Esta camada retorna a dilatação morfógica do tensor de entrada com os filtros fornecidos

Uma camada de erosão morfológica 2-D

Esta camada retorna a erosão morfógica do tensor de entrada com os filtros fornecidos

Uma seleção preguiçosa de elementos, em uma determinada ordem, de alguma coleção de base.

Uma série dos mais longa que não se sobrepõem cortes contíguos de uma Base recolha, começando com o primeiro elemento, e tendo alguns comprimento máximo fixo.

Os elementos desta coleção, com exceção do último, todos têm uma count de batchSize , a menos que Base.count % batchSize !=0 , caso em que o último lote count é base.count % batchSize.

Uma camada de normalização em lote.

Normaliza as activações da camada anterior, em cada lote, isto é, aplica-se uma transformação que mantém a activação perto significativo a 0 e o desvio padrão de activação perto de 1 .

Referência: Lote Normalização: Acelerar Rede de Formação profundo por Redução de covariáveis Interna de Deslocamento .

Uma camada que aplica a normalização de camada em um minilote de entradas.

Referência: Camada de Normalização .

Uma camada que aplica a normalização de grupo em um minilote de entradas.

Referência: Grupo A normalização .

Uma camada que aplica a normalização de instância em um minilote de entradas.

Referência: Instância Normalização: o ingrediente que falta para estilização rápido .

Estado para uma única etapa de um único peso dentro de um otimizador.

Estado global acessado através StateAccessor .

[String: Float] , mas elementos podem ser acessados como se fossem membros.

Um otimizador que funciona em um único grupo de parâmetros.

Um wrapper de tipo seguro em torno de um Int valor do índice para o otimizador de valores locais.

Um wrapper de tipo seguro em torno de um Int valor do índice para o otimizador de valores globais.

Um invólucro de tipo seguro em torno de uma Int valor de índice para valores de estado optimizador.

Constrói uma ParameterGroupOptimizer . Isso é usado essencialmente no nível de um único peso no modelo. Um mapeamento a partir de grupos de parâmetros seleccionados por ( [Bool] para ParameterGroupOptimizer) define o optimizador final.

Uma camada de pooling máxima para dados temporais.

Uma camada de pooling máxima para dados espaciais.

Uma camada de pooling máxima para dados espaciais ou espaço-temporais.

Uma camada de agrupamento média para dados temporais.

Uma camada de agrupamento média para dados espaciais.

Uma camada de agrupamento média para dados espaciais ou espaço-temporais.

Uma camada de agrupamento média global para dados temporais.

Uma camada de agrupamento de média global para dados espaciais.

Uma camada de agrupamento média global para dados espaciais e espaço-temporais.

Uma camada de agrupamento máximo global para dados temporais.

Uma camada de agrupamento máximo global para dados espaciais.

Uma camada de agrupamento máximo global para dados espaciais e espaço-temporais.

Uma camada de pooling máximo fracionário para dados espaciais. Nota: FractionalMaxPool não tem uma implementação XLA, e, portanto, pode ter implicações de desempenho.

PythonObject representa um objeto em Python e suporta pesquisa membro dinâmico. Qualquer acesso de membros como object.foo dinamicamente irá solicitar o tempo de execução Python para um membro com o nome especificado neste objeto.

PythonObject é passado para e voltado dentre todas as chamadas de função Python e referências membros. Ele suporta aritmética Python padrão e operadores de comparação.

Internamente, PythonObject é implementado como um ponteiro contou-referência para uma API Python C PyObject .

A PythonObject invólucro que permite jogar chamadas de método. As exceções produzidas por funções Python são refletidas como erros Swift e lançadas.

Um PythonObject invólucro que permite que os acessos membro. Operações de acesso membro retornar um Optional resultado. Quando o acesso membro falhar, nil é retornado.

Uma interface para Python.

PythonInterface permite interacção com o Python. Ele pode ser usado para importar módulos e acessar dinamicamente tipos e funções integradas do Python.

Um gerador de número aleatório apagado.

O AnyRandomNumberGenerator tipo para a frente aleatórios operações de geração de número para um gerador de números aleatórios subjacente, escondendo o seu específico subjacente tipo.

Uma implementação de SeedableRandomNumberGenerator usando ARC4.

ARC4 é uma cifra de fluxo que gera um fluxo pseudo-aleatório de bytes. Este PRNG usa a semente como sua chave.

ARC4 é descrito em Schneier, B., "Applied Cryptography: Protocols, Algorithms, and Source Code in C", 2ª Edição, 1996.

Um gerador individual não é seguro para thread, mas geradores distintos não compartilham o estado. Os dados aleatórios gerados são de alta qualidade, mas não são adequados para aplicações criptográficas.

Uma implementação de SeedableRandomNumberGenerator usando Threefry. Salmon et al. SC 2011. números aleatórios paralelas: tão fácil como 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Esta estrutura implementa um PRNG Threefry2x32 de 20 rodadas. Deve ser propagado com um valor de 64 bits.

Um gerador individual não é seguro para thread, mas geradores distintos não compartilham o estado. Os dados aleatórios gerados são de alta qualidade, mas não são adequados para aplicações criptográficas.

Uma implementação de SeedableRandomNumberGenerator usando Philox. Salmon et al. SC 2011. números aleatórios paralelas: tão fácil como 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Esta estrutura implementa um PRNG Philox4x32 de 10 rodadas. Deve ser propagado com um valor de 64 bits.

Um gerador individual não é seguro para thread, mas geradores distintos não compartilham o estado. Os dados aleatórios gerados são de alta qualidade, mas não são adequados para aplicações criptográficas.

Uma entrada para uma rede neural recorrente.

Uma saída para uma rede neural recorrente.

Uma célula RNN básica.

Uma célula LSTM.

Uma célula GRU.

Uma camada que compõe sequencialmente duas ou mais outras camadas.

Exemplos:

• Construa um modelo simples de perceptron de 2 camadas para MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• Crie um codificador automático para MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray é uma matriz multi-dimensional. Ele tem uma forma, que tem o tipo de [Int] e define as dimensões da matriz, e utiliza um TensorBuffer internamente como armazenamento.

Uma fatia contígua de uma ShapedArray ou ShapedArraySlice exemplo.

ShapedArraySlice permite rápido, operações eficientes em fatias contíguas de ShapedArray casos. ShapedArraySlice casos não têm o seu próprio armazenamento. Em vez disso, que proporciona uma vista para o armazenamento de sua base ShapedArray . ShapedArraySlice pode representar dois tipos diferentes de fatias: matrizes de elementos e subarrays.

Elemento matrizes são elementos subdimensional de um ShapedArray : sua posição é um a menos do que a sua base. Fatias ao elemento da matriz são obtidas através de indexação de um ShapedArray exemplo com um singular Int32 índice.

Por exemplo:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

Subarrays são uma faixa contínua dos elementos em um ShapedArray . A classificação de um subarray é a mesma de sua base, mas sua dimensão principal é a contagem do intervalo de fatias. Fatias subarray são obtidas através de indexação de um ShapedArray com um Range<Int32> que representa uma série de elementos (na dimensão líder). Métodos como prefix(:) e suffix(:) que índice internamente com uma gama também produzir subarray.

Por exemplo:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor é uma matriz multi-dimensional, cujos elementos são String s.

TensorHandle é do tipo usado pela ops. Ele inclui um Scalar tipo, que compilador internos podem ser utilizadas para determinar os tipos de dados de parâmetros quando eles são extraídos para um programa tensor.

Uma estrutura que representa a forma de um tensor.

TensorShape é um invólucro fino em torno de uma disposição de números inteiros que representam dimensões de forma. Todos os tipos de tensores usar TensorShape para representar a sua forma.

TensorVisitorPlan aproxima [WritableKeyPath<Base, Tensor<Float>] , mas é mais eficiente. Isso é útil para escrever otimizadores genéricos que desejam mapear gradientes, pesos existentes e um índice que pode ser usado para encontrar pesos armazenados auxiliares. Isso é um pouco mais eficiente (~ 2x), mas poderia ser melhor porque compensa overheads um pouco maiores (desreferência de ponteiro extra) por não ter que fazer o trabalho O (depth_of_tree) que é necessário com uma lista simples para rastrear cada KeyPath individual.

Uma camada de upsampling para entradas 1-D.

Uma camada de upsampling para entradas 2-D.

Uma camada de upsampling para entradas 3-D.

Coleta contadores de previsão corretos e totais de perda.