Strutture

Una concatenazione di due sequenze con lo stesso tipo di elemento.

Una vista ruotata su una raccolta.

Un valore derivativo cancellato dal tipo.

Il tipo AnyDerivative inoltra le sue operazioni a un valore derivato di base sottostante arbitrario conforme a Differentiable e AdditiveArithmetic , nascondendo le specifiche del valore sottostante.

Un array multidimensionale di elementi che è una generalizzazione di vettori e matrici a dimensioni potenzialmente superiori.

Il parametro generico Scalar descrive il tipo di scalari nel tensore (come Int32 , Float , ecc.).

Una funzione pullback che esegue la trasposizione della trasmissione di due Tensors .

Un contesto che archivia informazioni contestuali thread-local utilizzate dalle API di deep learning come i livelli.

Utilizzare Context.local per recuperare il contesto thread-locale corrente.

Esempi:

• Imposta la fase di apprendimento corrente su training in modo che layer come BatchNorm calcolino la media e la varianza quando applicati agli input.

  Context.local.learningPhase = .training

• Imposta la fase di apprendimento corrente sull'inferenza in modo che livelli come Dropout non eliminino unità quando applicati agli input.

  Context.local.learningPhase = .inference

Uno strato di convoluzione 1-D (ad esempio, convoluzione temporale su una serie temporale).

Questo livello crea un filtro di convoluzione che viene convoluto con l'input del livello per produrre un tensore di output.

Uno strato di convoluzione 2D (ad esempio, convoluzione spaziale sulle immagini).

Questo livello crea un filtro di convoluzione che viene convoluto con l'input del livello per produrre un tensore di output.

Un livello di convoluzione 3D per la convoluzione spaziale/spazio-temporale sulle immagini.

Questo livello crea un filtro di convoluzione che viene convoluto con l'input del livello per produrre un tensore di output.

Uno strato di convoluzione trasposto 1-D (ad esempio, una convoluzione temporale trasposta sulle immagini).

Questo livello crea un filtro di convoluzione che viene trasposto-convoluto con l'input del livello per produrre un tensore di output.

Uno strato di convoluzione trasposto 2-D (ad esempio, convoluzione spaziale trasposta sulle immagini).

Questo livello crea un filtro di convoluzione che viene trasposto-convoluto con l'input del livello per produrre un tensore di output.

Uno strato di convoluzione trasposto in 3D (ad esempio, convoluzione spaziale trasposta sulle immagini).

Questo livello crea un filtro di convoluzione che viene trasposto-convoluto con l'input del livello per produrre un tensore di output.

Uno strato di convoluzione in profondità 2D.

Questo livello crea filtri di convoluzione separabili che vengono convoluti con l'input del livello per produrre un tensore di output.

Un livello per aggiungere zero-padding nella dimensione temporale.

Un livello per l'aggiunta di riempimento zero nelle dimensioni spaziali.

Un livello per aggiungere zero-padding nelle dimensioni spaziali/spazio-temporali.

Uno strato di convoluzione separabile 1-D.

Questo livello esegue una convoluzione in profondità che agisce separatamente sui canali seguita da una convoluzione puntuale che mescola i canali.

Uno strato di convoluzione separabile 2D.

Questo livello esegue una convoluzione in profondità che agisce separatamente sui canali seguita da una convoluzione puntuale che mescola i canali.

Uno strato appiattito.

Un livello di appiattimento appiattisce l'input quando applicato senza influire sulla dimensione del batch.

Un livello di rimodellamento.

Un livello che racchiude una funzione differenziabile personalizzata.

Un valore di tipo dinamico TensorFlow che può essere creato da tipi conformi a TensorFlowScalar .

Rappresenta un insieme di elementi potenzialmente ampio.

Un Dataset può essere utilizzato per rappresentare una pipeline di input come una raccolta di tensori di elementi.

Il tipo che consente l'iterazione sugli elementi di un set di dati.

Una struttura simile a 2 tuple conforme a TensorGroup che rappresenta una tupla di 2 tipi conformi a TensorGroup .

Uno strato di rete neurale densamente connesso.

Dense implementa l'operazione activation(matmul(input, weight) + bias) , dove weight è una matrice di peso, bias è un vettore di polarizzazione e activation è una funzione di attivazione per elemento.

Questo livello supporta anche tensori di peso 3D con matrici di polarizzazione 2D. In questo caso la prima dimensione di entrambi viene trattata come la dimensione batch allineata con la prima dimensione input e viene utilizzata la variante batch dell'operazione matmul(_:_:) , utilizzando quindi un peso e una distorsione diversi per ciascun elemento nel batch di input.

Un dispositivo su cui è possibile allocare Tensor .

Uno strato di abbandono.

Il dropout consiste nell'impostare casualmente una frazione di unità di input su 0 ad ogni aggiornamento durante il periodo di addestramento, il che aiuta a prevenire l'overfitting.

GaussianNoise aggiunge rumore campionato da una distribuzione normale.

Il rumore aggiunto ha sempre media zero, ma ha una deviazione standard configurabile.

GaussianDropout moltiplica l'input per il rumore campionato da una distribuzione normale con media 1,0.

Poiché si tratta di un livello di regolarizzazione, è attivo solo durante il periodo di addestramento. Durante l'inferenza, GaussianDropout passa attraverso l'input senza modifiche.

Uno strato di dropout Alpha.

Alpha Dropout è un Dropout che mantiene la media e la varianza degli input ai loro valori originali, al fine di garantire la proprietà autonormalizzante anche dopo questo dropout. Alpha Dropout si adatta bene alle unità lineari esponenziali scalate impostando casualmente le attivazioni sul valore di saturazione negativo.

Fonte: Reti neurali autonormalizzanti: https://arxiv.org/abs/1706.02515

Uno strato di incorporamento.

Embedding è effettivamente una tabella di ricerca che mappa gli indici da un vocabolario fisso a rappresentazioni vettoriali (dense) di dimensione fissa, ad esempio [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]] .

Una struttura vuota che rappresenta TangentVector vuoti per layer senza parametri.

Coppia di momenti primo e secondo (cioè media e varianza).

Uno strato di dilatazione morfologica 2-D

Questo layer restituisce la dilatazione morfologica del tensore di input con i filtri forniti

Uno strato di erosione morfologica 2-D

Questo strato restituisce l'erosione morfologica del tensore di input con i filtri forniti

Una pigra selezione di elementi, in un dato ordine, da una collezione di base.

Una raccolta delle sezioni contigue non sovrapposte più lunghe di una raccolta Base , a partire dal primo elemento e con una lunghezza massima fissa.

Gli elementi di questa raccolta, tranne l'ultimo, hanno tutti un count di batchSize , a meno che Base.count % batchSize !=0 , nel qual caso il count dell'ultimo batch è base.count % batchSize.

Un livello di normalizzazione batch.

Normalizza le attivazioni dello strato precedente ad ogni batch, ovvero applica una trasformazione che mantiene l'attivazione media vicina a 0 e la deviazione standard di attivazione vicina a 1 .

Riferimento: Normalizzazione batch: accelerazione dell'addestramento della rete profonda riducendo lo spostamento della covariata interna .

Un livello che applica la normalizzazione del livello su un mini-batch di input.

Riferimento: Normalizzazione dei livelli .

Un livello che applica la normalizzazione del gruppo su un mini-batch di input.

Riferimento: normalizzazione del gruppo .

Un livello che applica la normalizzazione dell'istanza su un mini-batch di input.

Riferimento: Normalizzazione dell'istanza: l'ingrediente mancante per una stilizzazione rapida .

Stato per un singolo passaggio di un singolo peso all'interno di un ottimizzatore.

Stato globale a cui si accede tramite StateAccessor .

[String: Float] ma è possibile accedere agli elementi come se fossero membri.

Un ottimizzatore che funziona su un singolo gruppo di parametri.

Un wrapper indipendente dai tipi attorno a un valore di indice Int per i valori locali dell'ottimizzatore.

Un wrapper indipendente dai tipi attorno a un valore di indice Int per i valori globali dell'ottimizzatore.

Un wrapper indipendente dai tipi attorno a un valore di indice Int per i valori dello stato dell'ottimizzatore.

Costruisce un ParameterGroupOptimizer . Questo viene utilizzato essenzialmente al livello di un singolo peso nel modello. Una mappatura dai gruppi di parametri selezionati da ( [Bool] a ParametroGroupOptimizer) definisce l'ottimizzatore finale.

Un livello di pooling massimo per i dati temporali.

Un livello di pooling massimo per i dati spaziali.

Un livello di pooling massimo per dati spaziali o spazio-temporali.

Un livello di pooling medio per i dati temporali.

Un livello di pooling medio per i dati spaziali.

Un livello di pooling medio per dati spaziali o spazio-temporali.

Un livello di pooling medio globale per i dati temporali.

Un livello di pooling medio globale per i dati spaziali.

Un livello di pooling medio globale per dati spaziali e spazio-temporali.

Un livello di pooling massimo globale per i dati temporali.

Un livello di pooling massimo globale per i dati spaziali.

Un livello di pooling massimo globale per dati spaziali e spazio-temporali.

Un livello di pooling massimo frazionario per i dati spaziali. Nota: FractionalMaxPool non dispone di un'implementazione XLA e pertanto potrebbe avere implicazioni sulle prestazioni.

PythonObject rappresenta un oggetto in Python e supporta la ricerca dinamica dei membri. Qualsiasi accesso membro come object.foo richiederà dinamicamente il runtime Python per un membro con il nome specificato in questo oggetto.

PythonObject viene passato e restituito da tutte le chiamate di funzioni Python e i riferimenti ai membri. Supporta gli operatori aritmetici e di confronto Python standard.

Internamente, PythonObject è implementato come puntatore con conteggio dei riferimenti a un'API Python C PyObject .

Un wrapper PythonObject che consente di lanciare chiamate al metodo. Le eccezioni prodotte dalle funzioni Python si riflettono come errori Swift e vengono lanciate.

Un wrapper PythonObject che consente gli accessi ai membri. Le operazioni di accesso dei membri restituiscono un risultato Optional . Quando l'accesso dei membri fallisce, viene restituito nil .

Un'interfaccia per Python.

PythonInterface consente l'interazione con Python. Può essere utilizzato per importare moduli e accedere dinamicamente a tipi e funzioni integrati di Python.

Un generatore di numeri casuali cancellati dal tipo.

Il tipo AnyRandomNumberGenerator inoltra le operazioni di generazione di numeri casuali a un generatore di numeri casuali sottostante, nascondendone il tipo sottostante specifico.

Un'implementazione di SeedableRandomNumberGenerator utilizzando ARC4.

ARC4 è un codice a flusso che genera un flusso di byte pseudo-casuale. Questo PRNG utilizza il seme come chiave.

ARC4 è descritto in Schneier, B., “Applied Cryptography: Protocols, Algorithms, and Source Code in C”, 2a edizione, 1996.

Un singolo generatore non è thread-safe, ma i generatori distinti non condividono lo stato. I dati casuali generati sono di alta qualità, ma non sono adatti per applicazioni crittografiche.

Un'implementazione di SeedableRandomNumberGenerator utilizzando Threefry. Salmon et al. SC 2011. Numeri casuali paralleli: facili come 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Questa struttura implementa un PRNG Threefry2x32 da 20 round. Deve avere un valore a 64 bit.

Un singolo generatore non è thread-safe, ma i generatori distinti non condividono lo stato. I dati casuali generati sono di alta qualità, ma non sono adatti per applicazioni crittografiche.

Un'implementazione di SeedableRandomNumberGenerator utilizzando Philox. Salmon et al. SC 2011. Numeri casuali paralleli: facili come 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Questa struttura implementa un PRNG Philox4x32 da 10 round. Deve avere un valore a 64 bit.

Un singolo generatore non è thread-safe, ma i generatori distinti non condividono lo stato. I dati casuali generati sono di alta qualità, ma non sono adatti per applicazioni crittografiche.

Un input per una rete neurale ricorrente.

Un output verso una rete neurale ricorrente.

Una cella RNN di base.

Una cella LSTM.

Una cellula GRU.

Uno strato che compone in sequenza due o più altri strati.

Esempi:

• Costruisci un semplice modello di percettrone a 2 strati per MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• Costruisci un codificatore automatico per MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray è un array multidimensionale. Ha una forma, che è di tipo [Int] e definisce le dimensioni dell'array e utilizza internamente un TensorBuffer come memoria.

Una sezione contigua di un'istanza ShapedArray o ShapedArraySlice .

ShapedArraySlice consente operazioni rapide ed efficienti su sezioni contigue di istanze ShapedArray . Le istanze ShapedArraySlice non hanno un proprio spazio di archiviazione. Invece, forniscono una vista sull'archiviazione del loro ShapedArray di base. ShapedArraySlice può rappresentare due diversi tipi di sezioni: array di elementi e sottoarray.

Gli array di elementi sono elementi subdimensionali di uno ShapedArray : il loro rango è uno in meno rispetto a quello della loro base. Le sezioni della matrice di elementi vengono ottenute indicizzando un'istanza ShapedArray con un indice Int32 singolare.

Per esempio:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

I sottoarray sono un intervallo contiguo di elementi in un ShapedArray . Il rango di un sottoarray è lo stesso della sua base, ma la sua dimensione iniziale è il conteggio dell'intervallo delle fette. Le sezioni di sottoarray si ottengono indicizzando un ShapedArray con un Range<Int32> che rappresenta un intervallo di elementi (nella dimensione principale). Anche metodi come prefix(:) e suffix(:) che indicizzano internamente con un intervallo producono un sottoarray.

Per esempio:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor è un array multidimensionale i cui elementi sono String s.

TensorHandle è il tipo utilizzato da ops. Include un tipo Scalar , che gli interni del compilatore possono utilizzare per determinare i tipi di dati dei parametri quando vengono estratti in un programma tensore.

Una struttura che rappresenta la forma di un tensore.

TensorShape è un sottile involucro attorno a una serie di numeri interi che rappresentano le dimensioni della forma. Tutti i tipi di tensore utilizzano TensorShape per rappresentare la loro forma.

TensorVisitorPlan si avvicina a [WritableKeyPath<Base, Tensor<Float>] ma è più efficiente. Ciò è utile per scrivere ottimizzatori generici che desiderano mappare i gradienti, i pesi esistenti e un indice che può essere utilizzato per trovare pesi memorizzati ausiliari. Questo è leggermente più efficiente (~2x) ma potrebbe essere migliore perché compensa spese generali leggermente più elevate (dereferenziazione extra del puntatore) per non dover eseguire il lavoro O (profondità_of_tree) richiesto con un elenco semplice per rintracciare ogni singolo KeyPath.

Uno strato di sovracampionamento per ingressi 1-D.

Uno strato di sovracampionamento per ingressi 2-D.

Uno strato di sovracampionamento per ingressi 3-D.

Raccoglie i contatori di previsione corretti e i totali delle perdite.