Struktur

Rangkaian dua barisan dengan tipe elemen yang sama.

Tampilan diputar ke koleksi.

Nilai turunan yang terhapus tipe.

Tipe AnyDerivative meneruskan operasinya ke nilai turunan dasar sembarang yang sesuai dengan Differentiable dan AdditiveArithmetic , sehingga menyembunyikan spesifikasi nilai dasar.

Array elemen multidimensi yang merupakan generalisasi vektor dan matriks ke dimensi yang berpotensi lebih tinggi.

Parameter generik Scalar menjelaskan jenis skalar di tensor (seperti Int32 , Float , dll).

Fungsi pullback yang melakukan transpose penyiaran dua Tensors .

Konteks yang menyimpan informasi kontekstual thread-lokal yang digunakan oleh API pembelajaran mendalam seperti lapisan.

Gunakan Context.local untuk mengambil konteks thread-lokal saat ini.

Contoh:

• Atur fase pembelajaran saat ini ke pelatihan sehingga lapisan seperti BatchNorm akan menghitung mean dan varians saat diterapkan pada input.

  Context.local.learningPhase = .training

• Atur fase pembelajaran saat ini ke inferensi sehingga lapisan seperti Dropout tidak akan mengeluarkan unit saat diterapkan ke input.

  Context.local.learningPhase = .inference

Lapisan konvolusi 1-D (misalnya konvolusi temporal dalam rangkaian waktu).

Lapisan ini membuat filter konvolusi yang dikonvolusi dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi 2-D (misalnya konvolusi spasial pada gambar).

Lapisan ini membuat filter konvolusi yang dikonvolusi dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi 3-D untuk konvolusi spasial/spatio-temporal pada gambar.

Lapisan ini membuat filter konvolusi yang dikonvolusi dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi transposisi 1-D (misalnya konvolusi transposisi temporal pada gambar).

Lapisan ini membuat filter konvolusi yang dikonvolusi secara transpos dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi transposisi 2-D (misalnya konvolusi transposisi spasial pada gambar).

Lapisan ini membuat filter konvolusi yang dikonvolusi secara transpos dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi transposisi 3-D (misalnya konvolusi transposisi spasial pada gambar).

Lapisan ini membuat filter konvolusi yang dikonvolusi secara transpos dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan konvolusi mendalam 2-D.

Lapisan ini membuat filter konvolusi terpisah yang dikonvolusi dengan masukan lapisan untuk menghasilkan tensor keluaran.

Lapisan untuk menambahkan zero-padding dalam dimensi temporal.

Lapisan untuk menambahkan zero-padding dalam dimensi spasial.

Lapisan untuk menambahkan zero-padding pada dimensi spasial/spatio-temporal.

Lapisan konvolusi 1-D yang dapat dipisahkan.

Lapisan ini melakukan konvolusi mendalam yang bekerja secara terpisah pada saluran diikuti dengan konvolusi titik yang mencampurkan saluran.

Lapisan konvolusi 2-D yang dapat dipisahkan.

Lapisan ini melakukan konvolusi mendalam yang bekerja secara terpisah pada saluran diikuti dengan konvolusi titik yang mencampurkan saluran.

Lapisan yang rata.

Lapisan rata meratakan masukan saat diterapkan tanpa mempengaruhi ukuran batch.

Lapisan yang membentuk kembali.

Lapisan yang menyertakan fungsi terdiferensiasi khusus.

Nilai tipe dinamis TensorFlow yang dapat dibuat dari tipe yang sesuai dengan TensorFlowScalar .

Mewakili sekumpulan elemen yang berpotensi besar.

Dataset dapat digunakan untuk mewakili saluran masukan sebagai kumpulan tensor elemen.

Tipe yang memungkinkan iterasi pada elemen kumpulan data.

Struktur mirip 2 tupel yang sesuai dengan TensorGroup yang mewakili tupel dengan 2 jenis yang sesuai dengan TensorGroup .

Lapisan jaringan saraf yang terhubung erat.

Dense mengimplementasikan operasi activation(matmul(input, weight) + bias) , dengan weight adalah matriks bobot, bias adalah vektor bias, dan activation adalah fungsi aktivasi berdasarkan elemen.

Lapisan ini juga mendukung tensor bobot 3-D dengan matriks bias 2-D. Dalam hal ini dimensi pertama dari keduanya diperlakukan sebagai ukuran batch yang selaras dengan dimensi input pertama dan varian batch dari operasi matmul(_:_:) digunakan, sehingga menggunakan bobot dan bias yang berbeda untuk setiap elemen dalam kumpulan masukan.

Perangkat tempat Tensor dapat dialokasikan.

Lapisan putus sekolah.

Dropout terdiri dari pengaturan acak sebagian kecil unit input ke 0 pada setiap pembaruan selama waktu pelatihan, yang membantu mencegah overfitting.

GaussianNoise menambahkan sampel noise dari distribusi normal.

Kebisingan yang ditambahkan selalu memiliki rata-rata nol, namun memiliki deviasi standar yang dapat dikonfigurasi.

GaussianDropout mengalikan input dengan sampel noise dari distribusi normal dengan mean 1.0.

Karena ini adalah lapisan regularisasi, maka hanya aktif selama waktu pelatihan. Selama inferensi, GaussianDropout melewati input tanpa dimodifikasi.

Lapisan putus sekolah Alpha.

Alpha Dropout adalah Dropout yang menjaga mean dan varians input ke nilai aslinya, untuk memastikan properti normalisasi diri bahkan setelah dropout ini. Alpha Dropout cocok untuk Scaled Exponential Linear Units dengan mengatur aktivasi secara acak ke nilai saturasi negatif.

Sumber: Jaringan Neural Normalisasi Mandiri: https://arxiv.org/abs/1706.02515

Lapisan penyematan.

Embedding secara efektif adalah tabel pencarian yang memetakan indeks dari kosakata tetap ke representasi vektor berukuran tetap (padat), misalnya [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]]

Sebuah struct kosong yang mewakili TangentVector s kosong untuk lapisan tanpa parameter.

Pasangan momen pertama dan kedua (yaitu mean dan varians).

Lapisan dilatasi morfologi 2-D

Lapisan ini mengembalikan pelebaran morfologi tensor masukan dengan filter yang disediakan

Lapisan erosi morfologi 2-D

Lapisan ini mengembalikan erosi morfologi dari tensor masukan dengan filter yang disediakan

Pemilihan elemen yang lambat, dalam urutan tertentu, dari beberapa koleksi dasar.

Kumpulan irisan bersebelahan terpanjang yang tidak tumpang tindih dari beberapa kumpulan Base , dimulai dengan elemen pertamanya, dan memiliki panjang maksimum tetap.

Elemen koleksi ini, kecuali yang terakhir, semuanya memiliki count batchSize , kecuali Base.count % batchSize !=0 , dalam hal ini count batch terakhir adalah base.count % batchSize.

Lapisan normalisasi batch.

Menormalkan aktivasi lapisan sebelumnya pada setiap batch, yaitu menerapkan transformasi yang mempertahankan aktivasi rata-rata mendekati 0 dan deviasi standar aktivasi mendekati 1 .

Referensi: Normalisasi Batch: Mempercepat Pelatihan Jaringan Dalam dengan Mengurangi Pergeseran Kovariat Internal .

Lapisan yang menerapkan normalisasi lapisan pada sejumlah kecil masukan.

Referensi: Normalisasi Lapisan .

Lapisan yang menerapkan normalisasi grup pada sejumlah kecil masukan.

Referensi: Normalisasi Grup .

Lapisan yang menerapkan normalisasi instans pada sejumlah kecil input.

Referensi: Normalisasi Instance: Bahan yang Hilang untuk Stilisasi Cepat .

Nyatakan satu langkah dari satu bobot di dalam pengoptimal.

Status global diakses melalui StateAccessor .

[String: Float] tetapi elemen dapat diakses seolah-olah mereka adalah anggota.

Pengoptimal yang bekerja pada satu grup parameter.

Pembungkus yang aman untuk tipe di sekitar nilai indeks Int untuk nilai lokal pengoptimal.

Pembungkus yang aman untuk tipe di sekitar nilai indeks Int untuk nilai global pengoptimal.

Pembungkus aman tipe di sekitar nilai indeks Int untuk nilai status pengoptimal.

Membangun ParameterGroupOptimizer . Ini pada dasarnya digunakan pada level bobot tunggal dalam model. Pemetaan dari grup parameter yang dipilih oleh ( [Bool] ke ParameterGroupOptimizer) menentukan pengoptimal akhir.

Lapisan pengumpulan maksimal untuk data temporal.

Lapisan pengumpulan maksimal untuk data spasial.

Lapisan pengumpulan maksimal untuk data spasial atau spatio-temporal.

Lapisan pengumpulan rata-rata untuk data temporal.

Lapisan pengumpulan rata-rata untuk data spasial.

Lapisan pengumpulan rata-rata untuk data spasial atau spatio-temporal.

Lapisan pengumpulan rata-rata global untuk data temporal.

Lapisan pengumpulan rata-rata global untuk data spasial.

Lapisan pengumpulan rata-rata global untuk data spasial dan spatio-temporal.

Lapisan pengumpulan maksimal global untuk data temporal.

Lapisan pengumpulan maksimal global untuk data spasial.

Lapisan pengumpulan maksimal global untuk data spasial dan spatio-temporal.

Lapisan pengumpulan maksimal pecahan untuk data spasial. Catatan: FractionalMaxPool tidak memiliki implementasi XLA, sehingga mungkin mempunyai implikasi kinerja.

PythonObject mewakili objek dengan Python dan mendukung pencarian anggota dinamis. Setiap akses anggota seperti object.foo akan secara dinamis meminta runtime Python untuk anggota dengan nama yang ditentukan dalam objek ini.

PythonObject diteruskan dan dikembalikan dari semua panggilan fungsi Python dan referensi anggota. Ini mendukung aritmatika dan operator perbandingan Python standar.

Secara internal, PythonObject diimplementasikan sebagai penunjuk yang dihitung referensi ke Python C API PyObject .

Pembungkus PythonObject yang memungkinkan pelemparan pemanggilan metode. Pengecualian yang dihasilkan oleh fungsi Python tercermin sebagai kesalahan Swift dan ditampilkan.

Pembungkus PythonObject yang memungkinkan akses anggota. Operasi akses anggota mengembalikan hasil Optional . Ketika akses anggota gagal, nil dikembalikan.

Antarmuka untuk Python.

PythonInterface memungkinkan interaksi dengan Python. Ini dapat digunakan untuk mengimpor modul dan mengakses tipe dan fungsi bawaan Python secara dinamis.

Generator nomor acak yang terhapus tipe.

Tipe AnyRandomNumberGenerator meneruskan operasi penghasil angka acak ke penghasil angka acak yang mendasarinya, menyembunyikan tipe dasar spesifiknya.

Implementasi SeedableRandomNumberGenerator menggunakan ARC4.

ARC4 adalah stream cipher yang menghasilkan aliran byte pseudo-acak. PRNG ini menggunakan benih sebagai kuncinya.

ARC4 dijelaskan dalam Schneier, B., “Kriptografi Terapan: Protokol, Algoritma, dan Kode Sumber dalam C”, Edisi ke-2, 1996.

Generator individual tidak aman untuk thread, tetapi generator yang berbeda tidak berbagi status. Data acak yang dihasilkan berkualitas tinggi, namun tidak cocok untuk aplikasi kriptografi.

Implementasi SeedableRandomNumberGenerator menggunakan Threefry. Salmon dkk. SC 2011. Bilangan acak paralel: semudah 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Struktur ini mengimplementasikan PRNG Threefry2x32 20 putaran. Itu harus diunggulkan dengan nilai 64-bit.

Generator individual tidak aman untuk thread, tetapi generator yang berbeda tidak berbagi status. Data acak yang dihasilkan berkualitas tinggi, namun tidak cocok untuk aplikasi kriptografi.

Implementasi SeedableRandomNumberGenerator menggunakan Philox. Salmon dkk. SC 2011. Bilangan acak paralel: semudah 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

Struct ini mengimplementasikan PRNG Philox4x32 10 putaran. Itu harus diunggulkan dengan nilai 64-bit.

Generator individual tidak aman untuk thread, tetapi generator yang berbeda tidak berbagi status. Data acak yang dihasilkan berkualitas tinggi, namun tidak cocok untuk aplikasi kriptografi.

Masukan ke jaringan saraf berulang.

Output ke jaringan saraf berulang.

Sel RNN dasar.

Sel LSTM.

Sel GRU.

Lapisan yang secara berurutan menyusun dua atau lebih lapisan lainnya.

Contoh:

• Buat model perceptron 2 lapis sederhana untuk MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• Buat autoencoder untuk MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray adalah array multidimensi. Ia memiliki bentuk yang bertipe [Int] dan mendefinisikan dimensi array, serta menggunakan TensorBuffer secara internal sebagai penyimpanan.

Sepotong yang berdekatan dari instance ShapedArray atau ShapedArraySlice .

ShapedArraySlice memungkinkan operasi yang cepat dan efisien pada irisan instans ShapedArray yang berdekatan. Instance ShapedArraySlice tidak memiliki penyimpanannya sendiri. Sebaliknya, mereka memberikan tampilan ke penyimpanan basis mereka ShapedArray . ShapedArraySlice dapat mewakili dua jenis irisan yang berbeda: array elemen dan subarray.

Array elemen adalah elemen subdimensi dari ShapedArray : peringkatnya kurang satu dari peringkat dasarnya. Irisan array elemen diperoleh dengan mengindeks instance ShapedArray dengan indeks Int32 tunggal.

Misalnya:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

Subarray adalah rentang elemen yang berdekatan dalam ShapedArray . Pangkat suatu subarray sama dengan pangkat dasarnya, namun dimensi utamanya adalah jumlah rentang irisan. Irisan subarray diperoleh dengan mengindeks ShapedArray dengan Range<Int32> yang mewakili rentang elemen (dalam dimensi utama). Metode seperti prefix(:) dan suffix(:) yang mengindeks secara internal dengan suatu rentang juga menghasilkan subarray.

Misalnya:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor adalah array multidimensi yang elemennya adalah String s.

TensorHandle adalah tipe yang digunakan oleh operasi. Ini mencakup tipe Scalar , yang dapat digunakan oleh internal kompiler untuk menentukan tipe data parameter ketika parameter tersebut diekstraksi ke dalam program tensor.

Sebuah struct yang mewakili bentuk tensor.

TensorShape adalah pembungkus tipis di sekitar array bilangan bulat yang mewakili dimensi bentuk. Semua jenis tensor menggunakan TensorShape untuk merepresentasikan bentuknya.

TensorVisitorPlan mendekati [WritableKeyPath<Base, Tensor<Float>] tetapi lebih efisien. Hal ini berguna untuk menulis pengoptimal umum yang ingin memetakan gradien, bobot yang ada, dan indeks yang dapat digunakan untuk menemukan bobot tambahan yang disimpan. Ini sedikit lebih efisien (~2x) tetapi bisa lebih baik karena mengorbankan overhead yang sedikit lebih tinggi (dereferensi penunjuk tambahan) karena tidak harus melakukan pekerjaan O(kedalaman_of_tree) yang diperlukan dengan daftar biasa untuk melacak masing-masing KeyPath.

Lapisan upsampling untuk input 1-D.

Lapisan upsampling untuk input 2-D.

Lapisan upsampling untuk input 3-D.

Mengumpulkan penghitung prediksi yang benar dan total kerugian.