Yapılar

Aynı eleman tipine sahip iki dizinin birleştirilmesi.

Bir koleksiyonun döndürülmüş görünümü.

Türü silinmiş bir türev değeri.

AnyDerivative türü, işlemlerini Differentiable ve AdditiveArithmetic ile uyumlu isteğe bağlı bir temel türev değerine ileterek temel değerin özelliklerini gizler.

Vektörlerin ve matrislerin potansiyel olarak daha yüksek boyutlara genelleştirilmesi olan çok boyutlu bir öğe dizisi.

Genel parametre Scalar tensördeki skalerlerin türünü açıklar ( Int32 , Float vb. gibi).

İki Tensors yayınlanmasının aktarımını gerçekleştiren bir geri çekme işlevi.

Katmanlar gibi derin öğrenme API'leri tarafından kullanılan iş parçacığı yerel bağlamsal bilgileri depolayan bir bağlam.

Geçerli iş parçacığı yerel bağlamını almak için Context.local kullanın.

Örnekler:

• BatchNorm gibi katmanların girdilere uygulandığında ortalama ve varyansı hesaplayabilmesi için mevcut öğrenme aşamasını eğitime ayarlayın.

  Context.local.learningPhase = .training

• Mevcut öğrenme aşamasını çıkarım olarak ayarlayın, böylece Dropout gibi katmanlar girişlere uygulandığında birimleri düşürmez.

  Context.local.learningPhase = .inference

1 boyutlu bir evrişim katmanı (örneğin bir zaman serisi üzerinde zamansal evrişim).

Bu katman, çıktıların tensörünü üretmek için katman girişiyle evrilen bir evrişim filtresi oluşturur.

2 boyutlu bir evrişim katmanı (örneğin, görüntüler üzerinde uzamsal evrişim).

Bu katman, çıktıların tensörünü üretmek için katman girişiyle evrilen bir evrişim filtresi oluşturur.

Görüntüler üzerinde uzaysal/uzaysal-zamansal evrişim için 3 boyutlu bir evrişim katmanı.

Bu katman, çıktıların tensörünü üretmek için katman girişiyle evrilen bir evrişim filtresi oluşturur.

Bir 1 boyutlu transpoze evrişim katmanı (örneğin, görüntüler üzerinde zamansal transpoze evrişim).

Bu katman, çıktıların tensörünü üretmek için katman girişiyle transpoze-evrişimli bir evrişim filtresi oluşturur.

Bir 2 boyutlu transpoze evrişim katmanı (örneğin, görüntüler üzerinde uzamsal transpoze evrişim).

Bu katman, çıktıların tensörünü üretmek için katman girişiyle transpoze-evrişimli bir evrişim filtresi oluşturur.

Bir 3 boyutlu transpoze evrişim katmanı (örneğin, görüntüler üzerinde uzamsal transpoze evrişim).

Bu katman, çıktıların tensörünü üretmek için katman girişiyle transpoze-evrişimli bir evrişim filtresi oluşturur.

2 boyutlu derinlemesine evrişim katmanı.

Bu katman, çıktıların tensörünü üretmek için katman girişiyle evrilen ayrılabilir evrişim filtreleri oluşturur.

Zamansal boyuta sıfır dolgu eklemek için bir katman.

Uzamsal boyutlara sıfır dolgu eklemek için bir katman.

Uzamsal/uzaysal-zamansal boyutlara sıfır dolgu eklemek için bir katman.

1 boyutlu ayrılabilir evrişim katmanı.

Bu katman, kanallar üzerinde ayrı ayrı etki eden derinlemesine bir evrişim ve ardından kanalları karıştıran noktasal bir evrişim gerçekleştirir.

2 boyutlu Ayrılabilir evrişim katmanı.

Bu katman, kanallar üzerinde ayrı ayrı etki eden derinlemesine bir evrişim ve ardından kanalları karıştıran noktasal bir evrişim gerçekleştirir.

Düzleştirilmiş bir katman.

Düzleştirme katmanı, uygulandığında toplu iş boyutunu etkilemeden girişi düzleştirir.

Yeniden şekillendirilmiş bir katman.

Özel bir türevlenebilir işlevi kapsayan bir katman.

TensorFlowScalar ile uyumlu türlerden oluşturulabilen bir TensorFlow dinamik tür değeri.

Potansiyel olarak büyük bir öğe kümesini temsil eder.

Bir Dataset bir giriş hattını öğe tensörlerinin bir koleksiyonu olarak temsil etmek için kullanılabilir.

Bir veri kümesinin öğeleri üzerinde yinelemeye izin veren tür.

TensorGroup'a uygun 2 tipten oluşan bir demet'i temsil eden, TensorGroup uyan 2'li demet benzeri bir yapı.

Yoğun şekilde bağlı bir sinir ağı katmanı.

Dense activation(matmul(input, weight) + bias) işlemini uygular; burada weight bir ağırlık matrisidir, bias bir önyargı vektörüdür ve activation , öğe bazında bir aktivasyon fonksiyonudur.

Bu katman aynı zamanda 2 boyutlu önyargı matrislerine sahip 3 boyutlu ağırlık tensörlerini de destekler. Bu durumda her ikisinin de birinci boyutu, input birinci boyutuyla hizalanan toplu iş boyutu olarak ele alınır ve matmul(_:_:) işleminin toplu değişkeni kullanılır, böylece her öğe için farklı bir ağırlık ve önyargı kullanılır. giriş kümesinde.

Tensor tahsis edilebileceği bir cihaz.

Bir bırakma katmanı.

Bırakma, eğitim süresi boyunca her güncellemede giriş birimlerinin bir kısmının rastgele 0 ayarlanmasından oluşur; bu, aşırı uyumun önlenmesine yardımcı olur.

GaussianNoise normal dağılımdan örneklenen gürültüyü ekler.

Eklenen gürültünün ortalaması her zaman sıfırdır ancak yapılandırılabilir bir standart sapması vardır.

GaussianDropout girişi ortalama 1,0 olan normal dağılımdan örneklenen gürültüyle çarpar.

Bu bir düzenleme katmanı olduğu için yalnızca eğitim süresi boyunca aktiftir. Çıkarım sırasında GaussianDropout girişten değiştirilmeden geçer.

Bir Alfa bırakma katmanı.

Alfa Bırakma, bu bırakmadan sonra bile kendi kendini normalleştirme özelliğini sağlamak için girdilerin ortalama ve varyansını orijinal değerlerinde tutan bir Dropout . Alfa Düşüşü, etkinleştirmeleri rastgele negatif doygunluk değerine ayarlayarak Ölçeklendirilmiş Üstel Doğrusal Birimlere iyi uyum sağlar.

Kaynak: Kendi Kendini Normalleştiren Sinir Ağları: https://arxiv.org/abs/1706.02515

Bir gömme katmanı.

Embedding , endeksleri sabit bir sözlükten sabit boyutlu (yoğun) vektör temsillerine eşleyen etkili bir arama tablosudur, örneğin [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]] .

Parametresiz katmanlar için boş TangentVector temsil eden boş bir yapı.

Birinci ve ikinci moment çifti (yani ortalama ve varyans).

2 boyutlu morfolojik genişleme katmanı

Bu katman, sağlanan filtrelerle giriş tensörünün morfolojik genişlemesini döndürür

2 boyutlu morfolojik erozyon katmanı

Bu katman, sağlanan filtrelerle giriş tensörünün morfolojik erozyonunu döndürür

Bazı temel koleksiyonlardan belirli bir sırayla öğelerin tembel bir şekilde seçilmesi.

Bazı Base koleksiyonlarının üst üste binmeyen en uzun bitişik dilimlerinden oluşan, ilk öğesinden başlayan ve sabit bir maksimum uzunluğa sahip olan koleksiyon.

Bu koleksiyonun öğeleri, sonuncusu hariç, Base.count % batchSize !=0 olmadığı sürece batchSize count sahiptir; bu durumda son grubun count base.count % batchSize.

Bir toplu normalleştirme katmanı.

Her grupta önceki katmanın aktivasyonlarını normalleştirir, yani ortalama aktivasyonu 0 yakın ve aktivasyon standart sapmasını 1 yakın tutacak bir dönüşüm uygular.

Referans: Toplu Normalleştirme: Dahili Ortak Değişken Kaymasını Azaltarak Derin Ağ Eğitimini Hızlandırma .

Mini bir girdi kümesi üzerinde katman normalizasyonunu uygulayan bir katman.

Referans: Katman Normalleştirme .

Mini bir girdi kümesi üzerinde grup normalizasyonunu uygulayan bir katman.

Referans: Grup Normalleştirmesi .

Mini bir girdi kümesi üzerinde örnek normalizasyonunu uygulayan bir katman.

Referans: Örnek Normalleştirme: Hızlı Stilizasyon için Eksik Bileşen .

Optimize edici içindeki tek bir ağırlığın tek bir adımını belirtin.

StateAccessor aracılığıyla erişilen küresel durum.

[String: Float] ancak öğelere sanki üyeymiş gibi erişilebilir.

Tek bir parametre grubu üzerinde çalışan bir optimizer.

Optimize edicinin yerel değerleri için Int dizin değerinin etrafındaki tür açısından güvenli bir sarmalayıcı.

Optimize edici genel değerleri için Int dizin değerinin etrafındaki tür açısından güvenli bir sarmalayıcı.

Optimize edici durum değerleri için Int dizin değerinin etrafındaki tür açısından güvenli bir sarmalayıcı.

Bir ParameterGroupOptimizer oluşturur. Bu, esas olarak modelde tek bir ağırlık düzeyinde kullanılır. ( [Bool] - ParameterGroupOptimizer) tarafından seçilen parametre gruplarından bir eşleme, son optimize ediciyi tanımlar.

Zamansal veriler için maksimum havuzlama katmanı.

Uzamsal veriler için maksimum havuzlama katmanı.

Uzamsal veya uzamsal-zamansal veriler için maksimum havuzlama katmanı.

Zamansal veriler için ortalama bir havuz katmanı.

Uzamsal veriler için ortalama bir havuz katmanı.

Uzamsal veya uzamsal-zamansal veriler için ortalama bir havuzlama katmanı.

Zamansal veriler için küresel ortalama havuzlama katmanı.

Uzamsal veriler için küresel ortalama havuzlama katmanı.

Uzamsal ve uzamsal-zamansal veriler için küresel ortalama havuzlama katmanı.

Zamansal veriler için küresel maksimum havuzlama katmanı.

Uzamsal veriler için küresel maksimum havuzlama katmanı.

Uzamsal ve uzamsal-zamansal veriler için küresel maksimum havuzlama katmanı.

Uzamsal veriler için kesirli maksimum havuzlama katmanı. Not: FractionalMaxPool bir XLA uygulaması yoktur ve dolayısıyla performansla ilgili etkileri olabilir.

PythonObject Python'da bir nesneyi temsil eder ve dinamik üye aramayı destekler. object.foo gibi herhangi bir üye erişimi, bu nesnede belirtilen ada sahip bir üye için dinamik olarak Python çalışma zamanını isteyecektir.

PythonObject tüm Python işlev çağrılarına ve üye referanslarına iletilir ve bunlardan döndürülür. Standart Python aritmetiğini ve karşılaştırma operatörlerini destekler.

Dahili olarak PythonObject , Python C API'si PyObject referans sayılan bir işaretçi olarak uygulanır.

Yöntem çağrılarının atılmasını sağlayan bir PythonObject sarmalayıcısı. Python fonksiyonlarının ürettiği istisnalar Swift hataları olarak yansıtılır ve atılır.

Üye erişimlerine olanak tanıyan bir PythonObject sarmalayıcısı. Üye erişim işlemleri Optional bir sonuç döndürür. Üye erişimi başarısız olduğunda nil döndürülür.

Python için bir arayüz.

PythonInterface Python ile etkileşime izin verir. Modülleri içe aktarmak ve Python yerleşik türlerine ve işlevlerine dinamik olarak erişmek için kullanılabilir.

Türü silinmiş bir rastgele sayı üreteci.

AnyRandomNumberGenerator türü, rasgele sayı oluşturma işlemlerini temeldeki bir rasgele sayı oluşturucuya ileterek kendine özgü temel türünü gizler.

ARC4 kullanan bir SeedableRandomNumberGenerator uygulaması.

ARC4, sözde rastgele bayt akışı üreten bir akış şifresidir. Bu PRNG, tohumu anahtarı olarak kullanır.

ARC4, Schneier, B., "Uygulamalı Şifreleme: Protokoller, Algoritmalar ve C'deki Kaynak Kodu", 2. Baskı, 1996'da açıklanmaktadır.

Tek bir oluşturucu iş parçacığı açısından güvenli değildir, ancak farklı oluşturucular durumu paylaşmaz. Üretilen rastgele veriler yüksek kalitededir ancak kriptografik uygulamalar için uygun değildir.

Threefry kullanan bir SeedableRandomNumberGenerator uygulaması. Somon ve ark. SC 2011. Paralel rastgele sayılar: 1, 2, 3 kadar kolay. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Bu yapı 20 turluk Threefry2x32 PRNG'yi uygular. 64 bitlik bir değerle ekilmesi gerekir.

Tek bir oluşturucu iş parçacığı açısından güvenli değildir, ancak farklı oluşturucular durumu paylaşmaz. Üretilen rastgele veriler yüksek kalitededir ancak kriptografik uygulamalar için uygun değildir.

Philox kullanan bir SeedableRandomNumberGenerator uygulaması. Somon ve ark. SC 2011. Paralel rastgele sayılar: 1, 2, 3 kadar kolay. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Bu yapı 10 turlu Philox4x32 PRNG'yi uygular. 64 bitlik bir değerle ekilmesi gerekir.

Tek bir oluşturucu iş parçacığı açısından güvenli değildir, ancak farklı oluşturucular durumu paylaşmaz. Üretilen rastgele veriler yüksek kalitededir ancak kriptografik uygulamalar için uygun değildir.

Tekrarlayan bir sinir ağına giriş.

Tekrarlayan bir sinir ağına bir çıktı.

Temel bir RNN hücresi.

Bir LSTM hücresi.

Bir GRU hücresi.

İki veya daha fazla katmanı sırayla oluşturan katman.

Örnekler:

• MNIST için basit bir 2 katmanlı algılayıcı modeli oluşturun:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• MNIST için bir otomatik kodlayıcı oluşturun:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray çok boyutlu bir dizidir. [Int] tipinde olan ve dizi boyutlarını tanımlayan bir şekle sahiptir ve depolama olarak dahili olarak bir TensorBuffer kullanır.

ShapedArray veya ShapedArraySlice örneğinin bitişik bir dilimi.

ShapedArraySlice ShapedArray örneklerinin bitişik dilimleri üzerinde hızlı, verimli işlemlere olanak tanır. ShapedArraySlice örneklerinin kendi depolama alanları yoktur. Bunun yerine, temel ShapedArray depolarına ilişkin bir görünüm sağlarlar. ShapedArraySlice iki farklı dilim türünü temsil edebilir: öğe dizileri ve alt diziler.

Öğe dizileri bir ShapedArray alt boyutlu öğeleridir: sıralamaları tabanlarınınkinden bir eksiktir. Öğe dizisi dilimleri, ShapedArray örneğinin tekil bir Int32 dizini ile dizine eklenmesiyle elde edilir.

Örneğin:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

Alt diziler, ShapedArray içindeki öğelerin bitişik aralığıdır. Bir alt dizinin sıralaması tabanınınkiyle aynıdır ancak öncü boyutu dilim aralığının sayısıdır. Alt dizi dilimleri, bir ShapedArray öğesinin bir dizi öğeyi temsil eden (ön boyutta) Range<Int32> ile dizine eklenmesiyle elde edilir. Bir aralıkla dahili olarak indekslenen prefix(:) ve suffix(:) gibi yöntemler de alt dizi üretir.

Örneğin:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor , elemanları String olan çok boyutlu bir dizidir.

TensorHandle , operasyonlar tarafından kullanılan türdür. Derleyicinin dahili bileşenlerinin, bir tensör programına çıkarıldığında parametrelerin veri türlerini belirlemek için kullanabileceği bir Scalar türü içerir.

Bir tensörün şeklini temsil eden bir yapı.

TensorShape , şekil boyutlarını temsil eden bir dizi tamsayıyı çevreleyen ince bir sarmalayıcıdır. Tüm tensör türleri, şekillerini temsil etmek için TensorShape kullanır.

TensorVisitorPlan [WritableKeyPath<Base, Tensor<Float>] değerine yakındır ancak daha verimlidir. Bu, degradeleri, mevcut ağırlıkları ve yardımcı olarak depolanan ağırlıkları bulmak için kullanılabilecek bir dizini haritalamak isteyen genel optimizasyon araçları yazmak için kullanışlıdır. Bu biraz daha verimlidir (~2x), ancak daha iyi olabilir çünkü her bir KeyPath'i izlemek için düz bir listeyle gereken O(derinlik_of_ağaç) işini yapmak zorunda kalmamak için biraz daha yüksek genel giderlerden (ekstra işaretçi referansı) ödün verir.

1 boyutlu girişler için bir üst örnekleme katmanı.

2 boyutlu girişler için bir üst örnekleme katmanı.

3 boyutlu girişler için bir üst örnekleme katmanı.

Doğru tahmin sayaçlarını ve kayıp toplamlarını toplar.