Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

tf.keras.optimizers.schedules.InverseTimeDecay

TensorFlow 1 versi Lihat sumber di GitHub

Sebuah LearningRateSchedule yang menggunakan jadwal pembusukan waktu terbalik.

Mewarisi Dari: LearningRateSchedule

Digunakan di notebook

Digunakan dalam tutorial

Ketika pelatihan model, sering dianjurkan untuk menurunkan tingkat pembelajaran sebagai kemajuan pelatihan. Jadwal ini berlaku fungsi pembusukan terbalik dengan langkah optimizer, diberi disediakan tingkat pembelajaran awal. Hal ini membutuhkan step nilai untuk menghitung tingkat pembelajaran membusuk. Anda hanya bisa lewat variabel TensorFlow yang Anda kenaikan di setiap langkah pelatihan.

jadwal 1-arg callable yang menghasilkan tingkat pembelajaran membusuk ketika melewati langkah optimizer saat ini. Hal ini dapat berguna untuk mengubah nilai laju pembelajaran di doa yang berbeda dari fungsi optimizer. Hal ini dihitung sebagai:

 def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * step / decay_step)
 

atau, jika staircase adalah True , sebagai:

 def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * floor(step / decay_step))
 

Anda dapat melewati jadwal ini langsung ke tf.keras.optimizers.Optimizer sebagai tingkat pembelajaran. Contoh: Fit model Keras ketika membusuk 1 / t dengan tingkat 0,5:

 ...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
  initial_learning_rate, decay_steps, decay_rate)

model.compile(optimizer=tf.keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)
 

Sebuah callable jadwal tingkat belajar 1-arg yang mengambil langkah optimizer saat ini dan output tingkat pembelajaran membusuk, skalar Tensor dari jenis yang sama seperti initial_learning_rate .

initial_learning_rate Sebuah skalar float32 atau float64 Tensor atau nomor Python. Tingkat pembelajaran awal.
decay_steps Seberapa sering menerapkan pembusukan.
decay_rate nomor A Python. Tingkat pembusukan.
staircase Apakah untuk menerapkan pembusukan di tangga diskrit, sebagai lawan terus menerus, fashion.
name Tali. Nama opsional operasi. Default untuk 'InverseTimeDecay'.

metode

from_config

Lihat sumber

Instantiates LearningRateSchedule dari config nya.

args
config Output get_config() .

Pengembalian
Sebuah LearningRateSchedule misalnya.

get_config

Lihat sumber

__call__

Lihat sumber

Memanggil diri sebagai fungsi.