Konstrukcje

Połączenie dwóch sekwencji z tym samym typem elementu.

Obrócony widok na kolekcję.

Wartość pochodna wymazana typem.

Typ AnyDerivative przekazuje swoje operacje do dowolnej bazowej wartości pochodnej zgodnej z Differentiable i AdditiveArithmetic , ukrywając szczegóły wartości bazowej.

Wielowymiarowa tablica elementów będąca uogólnieniem wektorów i macierzy na potencjalnie wyższe wymiary.

Parametr ogólny Scalar opisuje typ skalarów w tensorze (taki jak Int32 , Float itp.).

Funkcja pullback, która wykonuje transpozycję rozgłaszania dwóch Tensors .

Kontekst przechowujący lokalne informacje kontekstowe wątku używane przez interfejsy API głębokiego uczenia się, takie jak warstwy.

Użyj Context.local , aby pobrać bieżący kontekst lokalny wątku.

Przykłady:

• Ustaw bieżącą fazę uczenia się na szkolenie, aby warstwy takie jak BatchNorm obliczały średnią i wariancję po zastosowaniu do danych wejściowych.

  Context.local.learningPhase = .training

• Ustaw bieżącą fazę uczenia się na wnioskowanie, aby warstwy takie jak Dropout nie traciły jednostek po zastosowaniu do danych wejściowych.

  Context.local.learningPhase = .inference

Warstwa splotu 1-D (np. splot czasowy w szeregu czasowym).

Warstwa ta tworzy filtr splotu, który jest splatany z wejściem warstwy w celu wytworzenia tensora wyników.

Warstwa splotu 2-D (np. splot przestrzenny na obrazach).

Warstwa ta tworzy filtr splotu, który jest splatany z wejściem warstwy w celu wytworzenia tensora wyników.

Warstwa splotu 3-D do splotu przestrzennego/przestrzenno-czasowego na obrazach.

Warstwa ta tworzy filtr splotu, który jest splatany z wejściem warstwy w celu wytworzenia tensora wyników.

Warstwa splotu transponowanego 1-D (np. splot czasowy transponowany na obrazach).

Warstwa ta tworzy filtr splotu, który jest splatany transpozycją z danymi wejściowymi warstwy w celu wytworzenia tensora wyników.

Dwuwymiarowa transponowana warstwa splotu (np. przestrzenna transpozycja splotu na obrazach).

Warstwa ta tworzy filtr splotu, który jest splatany transpozycją z danymi wejściowymi warstwy w celu wytworzenia tensora wyników.

Trójwymiarowa transponowana warstwa splotu (np. przestrzenna transpozycja splotu na obrazach).

Warstwa ta tworzy filtr splotu, który jest splatany transpozycją z danymi wejściowymi warstwy w celu wytworzenia tensora wyników.

Dwuwymiarowa warstwa splotu wgłębnego.

Warstwa ta tworzy rozdzielne filtry splotu, które są splatane z wejściem warstwy w celu wytworzenia tensora wyników.

Warstwa służąca do dodania zerowego wypełnienia w wymiarze czasowym.

Warstwa służąca do dodawania zer w wymiarach przestrzennych.

Warstwa służąca do dodawania zer w wymiarach przestrzennych/przestrzenno-czasowych.

Oddzielna warstwa splotu 1-D.

Warstwa ta wykonuje splot wgłębny, który działa oddzielnie na kanały, po którym następuje splot punktowy, który miesza kanały.

Oddzielna warstwa splotu 2-D.

Warstwa ta wykonuje splot wgłębny, który działa oddzielnie na kanały, po którym następuje splot punktowy, który miesza kanały.

Spłaszczona warstwa.

Spłaszczona warstwa spłaszcza materiał wejściowy po nałożeniu, bez wpływu na wielkość partii.

Warstwa zmiany kształtu.

Warstwa zawierająca niestandardową funkcję różniczkowalną.

Wartość typu dynamicznego TensorFlow, którą można utworzyć na podstawie typów zgodnych z TensorFlowScalar .

Reprezentuje potencjalnie duży zestaw elementów.

Dataset może służyć do reprezentowania potoku wejściowego jako kolekcji tensorów elementów.

Typ, który umożliwia iterację elementów zestawu danych.

Struktura podobna do 2 krotek zgodna z TensorGroup, która reprezentuje krotkę 2 typów zgodną z TensorGroup .

Gęsto połączona warstwa sieci neuronowej.

Dense implementuje operację activation(matmul(input, weight) + bias) , gdzie weight jest macierzą wag, bias jest wektorem odchylenia, a activation jest funkcją aktywacji elementarną.

Warstwa ta obsługuje również trójwymiarowe tensory wag z dwuwymiarowymi macierzami odchylenia. W tym przypadku pierwszy wymiar obu jest traktowany jako rozmiar partii, który jest wyrównany z pierwszym wymiarem danych input i używany jest wariant operacji matmul(_:_:) wsadowy, w ten sposób stosując inną wagę i obciążenie dla każdego elementu w partii wejściowej.

Urządzenie, na którym można przydzielić Tensor .

Warstwa odpadająca.

Rezygnacja polega na losowym ustawieniu ułamka jednostek wejściowych na 0 przy każdej aktualizacji w czasie uczenia, co pomaga zapobiegać nadmiernemu dopasowaniu.

GaussianNoise dodaje szum próbkowany z rozkładu normalnego.

Dodany szum zawsze ma średnią zero, ale ma konfigurowalne odchylenie standardowe.

GaussianDropout mnoży dane wejściowe przez szum pobrany z rozkładu normalnego ze średnią 1,0.

Ponieważ jest to warstwa regularyzacyjna, jest ona aktywna tylko w czasie treningu. Podczas wnioskowania GaussianDropout przechodzi przez wejście bez modyfikacji.

Warstwa odpadająca Alpha.

Porzucenie alfa to Dropout , które utrzymuje średnią i wariancję danych wejściowych na ich oryginalnych wartościach, aby zapewnić właściwość samonormalizacji nawet po tym porzuceniu. Alpha Dropout dobrze pasuje do skalowanych wykładniczych jednostek liniowych, losowo ustawiając aktywacje na ujemną wartość nasycenia.

Źródło: Samonormalizujące się sieci neuronowe: https://arxiv.org/abs/1706.02515

Warstwa osadzająca.

Embedding jest w rzeczywistości tabelą przeglądową, która odwzorowuje indeksy ze stałego słownictwa na reprezentacje wektorowe o stałym rozmiarze (gęste), np [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]]

Pusta struktura reprezentująca puste TangentVector s dla warstw bez parametrów.

Para momentów pierwszego i drugiego (tj. średnia i wariancja).

Dwuwymiarowa morfologiczna warstwa dylatacyjna

Warstwa ta zwraca morfologiczną dylatację tensora wejściowego za pomocą dostarczonych filtrów

Dwuwymiarowa morfologiczna warstwa erozyjna

Warstwa ta zwraca erozję morfologiczną tensora wejściowego za pomocą dostarczonych filtrów

Leniwy dobór elementów, w podanej kolejności, z jakiejś bazowej kolekcji.

Zbiór najdłuższych, nie nakładających się, sąsiadujących ze sobą wycinków pewnej kolekcji Base , zaczynających się od pierwszego elementu i mających stałą maksymalną długość.

Wszystkie elementy tej kolekcji, z wyjątkiem ostatniego, mają count batchSize , chyba że Base.count % batchSize !=0 , w którym to przypadku count ostatniej partii to base.count % batchSize.

Warstwa normalizacyjna wsadowa.

Normalizuje aktywacje poprzedniej warstwy w każdej partii, tj. stosuje transformację, która utrzymuje średnią aktywację w pobliżu 0 i odchylenie standardowe aktywacji w pobliżu 1 .

Odniesienie: Normalizacja wsadowa: przyspieszanie uczenia głębokiej sieci poprzez zmniejszenie wewnętrznego przesunięcia współzmiennych .

Warstwa, która stosuje normalizację warstw w mini-partii danych wejściowych.

Odniesienie: Normalizacja warstw .

Warstwa, która stosuje normalizację grupową w mini-partii danych wejściowych.

Odniesienie: Normalizacja grupy .

Warstwa, która stosuje normalizację instancji w mini-partii danych wejściowych.

Odniesienie: Normalizacja instancji: brakujący składnik szybkiej stylizacji .

Określ pojedynczy krok pojedynczej wagi w optymalizatorze.

Stan globalny dostępny za pośrednictwem StateAccessor .

[String: Float] , ale dostęp do elementów można uzyskać tak, jakby były członkami.

Optymalizator pracujący na pojedynczej grupie parametrów.

Bezpieczne dla typu opakowanie wokół wartości indeksu Int dla lokalnych wartości optymalizatora.

Bezpieczne dla typu opakowanie wokół wartości indeksu Int dla wartości globalnych optymalizatora.

Bezpieczne dla typu opakowanie wokół wartości indeksu Int dla wartości stanu optymalizatora.

Tworzy ParameterGroupOptimizer . Jest to stosowane zasadniczo na poziomie pojedynczego ciężaru w modelu. Mapowanie grup parametrów wybranych przez ( [Bool] do ParameterGroupOptimizer) definiuje ostateczny optymalizator.

Maksymalna warstwa łączenia danych tymczasowych.

Maksymalna warstwa łączenia danych przestrzennych.

Maksymalna warstwa łączenia danych przestrzennych lub czasoprzestrzennych.

Średnia warstwa łączenia danych tymczasowych.

Średnia warstwa łączenia danych przestrzennych.

Średnia warstwa gromadząca dane przestrzenne lub czasoprzestrzenne.

Globalna średnia warstwa gromadząca dane tymczasowe.

Globalna średnia warstwa pulująca dane przestrzenne.

Globalna średnia warstwa gromadząca dane przestrzenne i czasoprzestrzenne.

Globalna maksymalna warstwa łączenia danych tymczasowych.

Globalna maksymalna warstwa łączenia danych przestrzennych.

Globalna warstwa maksymalnego łączenia danych przestrzennych i czasoprzestrzennych.

Ułamkowa maksymalna warstwa łączenia danych przestrzennych. Uwaga: FractionalMaxPool nie ma implementacji XLA i dlatego może mieć wpływ na wydajność.

PythonObject reprezentuje obiekt w Pythonie i obsługuje dynamiczne wyszukiwanie elementów członkowskich. Każdy dostęp członkowski, taki jak object.foo , będzie dynamicznie żądał środowiska wykonawczego Pythona dla członka o określonej nazwie w tym obiekcie.

PythonObject jest przekazywany i zwracany przez wszystkie wywołania funkcji Pythona i odniesienia do elementów członkowskich. Obsługuje standardowe operatory arytmetyczne i porównania w języku Python.

Wewnętrznie PythonObject jest zaimplementowany jako wskaźnik zliczany przez referencje do API Pythona C PyObject .

Opakowanie PythonObject umożliwiające rzucanie wywołań metod. Wyjątki generowane przez funkcje Pythona są odzwierciedlane jako błędy Swift i zgłaszane.

Opakowanie PythonObject umożliwiające dostęp do elementów członkowskich. Operacje dostępu do elementów członkowskich zwracają wynik Optional . W przypadku niepowodzenia dostępu do elementu członkowskiego zwracane jest nil .

Interfejs dla Pythona.

PythonInterface umożliwia interakcję z Pythonem. Można go używać do importowania modułów i dynamicznego uzyskiwania dostępu do wbudowanych typów i funkcji Pythona.

Generator liczb losowych z wymazanym typem.

Typ AnyRandomNumberGenerator przekazuje operacje generujące liczby losowe do bazowego generatora liczb losowych, ukrywając jego specyficzny typ bazowy.

Implementacja SeedableRandomNumberGenerator przy użyciu ARC4.

ARC4 to szyfr strumieniowy, który generuje pseudolosowy strumień bajtów. Ten PRNG wykorzystuje ziarno jako klucz.

ARC4 opisano w Schneier, B., „Applied Cryptography: Protocols, Algorithms, and Source Code in C”, wydanie 2, 1996.

Pojedynczy generator nie jest bezpieczny dla wątków, ale różne generatory nie współdzielą stanu. Generowane losowo dane są wysokiej jakości, ale nie nadają się do zastosowań kryptograficznych.

Implementacja SeedableRandomNumberGenerator przy użyciu Threefry. Łosoś i in. SC 2011. Równoległe liczby losowe: proste jak 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Ta struktura implementuje 20-nabojowy Threefry2x32 PRNG. Musi być zaszczepiony wartością 64-bitową.

Pojedynczy generator nie jest bezpieczny dla wątków, ale różne generatory nie współdzielą stanu. Generowane losowo dane są wysokiej jakości, ale nie nadają się do zastosowań kryptograficznych.

Implementacja SeedableRandomNumberGenerator przy użyciu Philox. Łosoś i in. SC 2011. Równoległe liczby losowe: proste jak 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Ta konstrukcja implementuje 10-nabojowy Philox4x32 PRNG. Musi być zaszczepiony wartością 64-bitową.

Pojedynczy generator nie jest bezpieczny dla wątków, ale różne generatory nie współdzielą stanu. Generowane losowo dane są wysokiej jakości, ale nie nadają się do zastosowań kryptograficznych.

Wejście do rekurencyjnej sieci neuronowej.

Wyjście do rekurencyjnej sieci neuronowej.

Podstawowa komórka RNN.

Komórka LSTM.

Komórka GRU.

Warstwa, która składa się kolejno z dwóch lub większej liczby innych warstw.

Przykłady:

• Zbuduj prosty dwuwarstwowy model perceptronu dla MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• Zbuduj autoenkoder dla MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray to tablica wielowymiarowa. Ma kształt, który ma typ [Int] i definiuje wymiary tablicy, a także wykorzystuje wewnętrznie TensorBuffer jako pamięć.

Ciągły wycinek instancji ShapedArray lub ShapedArraySlice .

ShapedArraySlice umożliwia szybkie i wydajne operacje na sąsiadujących wycinkach instancji ShapedArray . Instancje ShapedArraySlice nie mają własnego magazynu. Zamiast tego zapewniają wgląd w przechowywanie ich podstawowej ShapedArray . ShapedArraySlice może reprezentować dwa różne rodzaje plasterków: tablice elementów i podtablice.

Tablice elementów są elementami podwymiarowymi ShapedArray : ich ranga jest o jeden mniejsza niż ich podstawa. Wycinki tablicy elementów uzyskuje się poprzez indeksowanie instancji ShapedArray pojedynczym indeksem Int32 .

Na przykład:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

Podtablice to ciągły zakres elementów w ShapedArray . Ranga podtablicy jest taka sama jak jej podstawy, ale jej wymiarem wiodącym jest liczba zakresu wycinka. Wycinki podtablicy uzyskuje się przez indeksowanie ShapedArray z Range<Int32> , który reprezentuje zakres elementów (w wymiarze wiodącym). Metody takie jak prefix(:) i suffix(:) które wewnętrznie indeksują zakres, również tworzą podtablicę.

Na przykład:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor to wielowymiarowa tablica, której elementami są String s.

TensorHandle to typ używany przez ops. Zawiera typ Scalar , którego elementy wewnętrzne kompilatora mogą używać do określenia typów danych parametrów, gdy są one wyodrębniane do programu tensorowego.

Struktura reprezentująca kształt tensora.

TensorShape to cienkie opakowanie wokół tablicy liczb całkowitych reprezentujących wymiary kształtu. Wszystkie typy tensorów używają TensorShape do reprezentowania swojego kształtu.

TensorVisitorPlan jest przybliżony [WritableKeyPath<Base, Tensor<Float>] ale jest bardziej wydajny. Jest to przydatne do pisania ogólnych optymalizatorów, które chcą odwzorować gradienty, istniejące wagi i indeks, którego można użyć do znalezienia pomocniczo przechowywanych wag. Jest to nieco bardziej wydajne (~2x), ale mogłoby być lepsze, ponieważ rezygnuje z nieco wyższych kosztów ogólnych (dodatkowe wyłuskiwanie wskaźnika) za brak konieczności wykonywania pracy O(głębia_drzewa), która jest wymagana w przypadku zwykłej listy do śledzenia każdej indywidualnej ścieżki klucza.

Warstwa upsamplingu dla wejść 1-D.

Warstwa upsamplingu dla wejść 2-D.

Warstwa upsamplingu dla wejść 3-D.

Zbiera prawidłowe liczniki przewidywań i sumy strat.