Adam

kelas publik Adam

Pengoptimal yang mengimplementasikan algoritma Adam.

Optimasi Adam adalah metode penurunan gradien stokastik yang didasarkan pada estimasi adaptif momen orde pertama dan kedua.

Menurut Kingma et al., 2014, metode ini "efisien secara komputasi, memiliki sedikit kebutuhan memori, invarian terhadap penskalaan ulang gradien secara diagonal, dan sangat cocok untuk masalah yang besar dalam hal data/parameter".

@lihat Kingma dkk., 2014, Adam: Metode Optimasi Stokastik .

Konstanta

mengambang BETA_ONE_DEFAULT
mengambang BETA_TWO_DEFAULT
mengambang EPSILON_DEFAULT
Rangkaian FIRST_MOMENT
mengambang BELAJAR_RATE_DEFAULT
Rangkaian SECOND_MOMENT

Konstanta yang Diwarisi

org.tensorflow.framework.optimizers.Optimizer
Rangkaian VARIABEL_V2

Konstruktor Publik

Adam ( Grafik grafik)
Membuat pengoptimal Adam
Adam (Grafik grafik , tingkat pembelajaran mengambang)
Membuat pengoptimal Adam
Adam ( Grafik grafik, float learningRate, float betaOne, float betaTwo, float epsilon)
Membuat pengoptimal Adam
Adam ( Grafik grafik, Nama string, Kecepatan pembelajaran mengambang)
Membuat pengoptimal Adam
Adam (Grafik grafik , Nama string, kecepatan pembelajaran float, float betaOne, float betaTwo, float epsilon)
Membuat pengoptimal Adam

Metode Publik

statis <T memperluas TType > Op
createAdamMinimize ( Lingkup cakupan, Operan <T> hilang, float learningRate, float betaOne, float betaTwo, float epsilon, Opsi... opsi)
Menciptakan Operasi yang meminimalkan kerugian
Rangkaian
dapatkan Nama Pengoptimal ()
Dapatkan Nama pengoptimal.
Rangkaian
keString ()

Metode Warisan

org.tensorflow.framework.optimizers.Optimizer
Op
applyGradients (Daftar< GradAndVar <? extends TType >> gradsAndVars, Nama string)
Menerapkan gradien ke variabel
<T memperluas TType > Daftar< GradAndVar <?>>
computerGradients ( Operan <?> hilang)
Menghitung gradien berdasarkan operan kerugian.
String statis
createName ( Output <? extends TType > variabel, String slotName)
Membuat nama dengan menggabungkan nama variabel dan nama slot
Tali abstrak
dapatkan Nama Pengoptimal ()
Dapatkan Nama pengoptimal.
<T memperluas TType > Opsional< Variabel <T>>
getSlot ( Keluaran <T> var, String slotName)
Mendapatkan slot yang terkait dengan variabel dan nama slot yang ditentukan.
Operasi terakhir
dapatkanTF ()
Mendapatkan instans Operasi Pengoptimal
Op
meminimalkan ( Operan <?> kerugian)
Meminimalkan kerugian dengan memperbarui variabel
Op
minimalkan ( Operan <?> kerugian, Nama string)
Meminimalkan kerugian dengan memperbarui variabel
boolean
sama dengan (Objek arg0)
Kelas terakhir<?>
dapatkan Kelas ()
ke dalam
Kode hash ()
kekosongan terakhir
memberitahu ()
kekosongan terakhir
beri tahuSemua ()
Rangkaian
keString ()
kekosongan terakhir
tunggu (arg0 panjang, int arg1)
kekosongan terakhir
tunggu (argumen panjang0)
kekosongan terakhir
Tunggu ()

Konstanta

float akhir statis publik BETA_ONE_DEFAULT

Nilai Konstan: 0,9

float akhir statis publik BETA_TWO_DEFAULT

Nilai Konstan: 0,999

float akhir statis publik EPSILON_DEFAULT

Nilai Konstan: 1.0E-8

String akhir statis publik FIRST_MOMENT

Nilai Konstan: "m"

float akhir statis publik LEARNING_RATE_DEFAULT

Nilai Konstan: 0,001

String akhir statis publik SECOND_MOMENT

Nilai Konstan: "v"

Konstruktor Publik

publik Adam ( Grafik grafik)

Membuat pengoptimal Adam

Parameter
grafik grafik TensorFlow

publik Adam (Grafik grafik , tingkat pembelajaran mengambang)

Membuat pengoptimal Adam

Parameter
grafik grafik TensorFlow
Tingkat pembelajaran kecepatan pembelajaran

publik Adam ( Grafik grafik, float learningRate, float betaOne, float betaTwo, float epsilon)

Membuat pengoptimal Adam

Parameter
grafik grafik TensorFlow
Tingkat pembelajaran kecepatan pembelajaran
betaSatu Tingkat peluruhan eksponensial untuk perkiraan momen pertama. Defaultnya adalah 0,9.
betaDua Tingkat peluruhan eksponensial untuk perkiraan momen ke-2. Defaultnya adalah 0,999.
epsilon Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba ​​(dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah. Defaultnya adalah 1e-8.

publik Adam (Grafik grafik , Nama string, Tingkat pembelajaran mengambang)

Membuat pengoptimal Adam

Parameter
grafik grafik TensorFlow
nama nama Pengoptimal, defaultnya adalah "Adam"
Tingkat pembelajaran kecepatan pembelajaran

publik Adam ( Grafik grafik, Nama string, float learningRate, float betaOne, float betaTwo, float epsilon)

Membuat pengoptimal Adam

Parameter
grafik grafik TensorFlow
nama nama Pengoptimal, defaultnya adalah "Adam"
Tingkat pembelajaran kecepatan pembelajaran
betaSatu Tingkat peluruhan eksponensial untuk perkiraan momen pertama. Defaultnya adalah 0,9.
betaDua Tingkat peluruhan eksponensial untuk perkiraan momen ke-2. Defaultnya adalah 0,999.
epsilon Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba ​​(dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah. Defaultnya adalah 1e-8.

Metode Publik

public static Op createAdamMinimize ( Lingkup cakupan, Operan <T> hilang, float learningRate, float betaOne, float betaTwo, float epsilon, Opsi... opsi)

Menciptakan Operasi yang meminimalkan kerugian

Parameter
cakupan cakupan TensorFlow
kehilangan kerugian yang harus diminimalkan
Tingkat pembelajaran kecepatan pembelajaran
betaSatu Tingkat peluruhan eksponensial untuk perkiraan momen pertama.
betaDua Tingkat peluruhan eksponensial untuk perkiraan momen ke-2.
epsilon Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba ​​(dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah.
pilihan Atribut Pengoptimal opsional
Kembali
  • Operasi yang meminimalkan kerugian
Melempar
Pengecualian Argumen Ilegal jika cakupan tidak mewakili Grafik

String publik getOptimizerName ()

Dapatkan Nama pengoptimal.

Kembali
  • Nama pengoptimal.

String publik keString ()