Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

Migrasikan kode TensorFlow 1 Anda ke TensorFlow 2

Lihat di TensorFlow.org Jalankan di Google Colab Lihat sumber di GitHub Unduh buku catatan

Dokumen ini untuk pengguna TensorFlow API level rendah. Jika Anda menggunakan API tingkat tinggi ( tf.keras ), mungkin ada sedikit atau tidak ada tindakan yang perlu Anda lakukan untuk membuat kode Anda sepenuhnya kompatibel dengan TensorFlow 2.0:

Masih mungkin untuk menjalankan kode 1.X, tanpa modifikasi ( kecuali untuk kontrib), di TensorFlow 2.0:

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

Namun, hal ini tidak memungkinkan Anda memanfaatkan banyak penyempurnaan yang dilakukan di TensorFlow 2.0. Panduan ini akan membantu Anda meningkatkan kode Anda, membuatnya lebih sederhana, lebih berkinerja, dan lebih mudah dikelola.

Skrip konversi otomatis

Langkah pertama, sebelum mencoba menerapkan perubahan yang dijelaskan dalam dokumen ini, adalah mencoba menjalankan skrip peningkatan .

Ini akan melakukan langkah awal dalam mengupgrade kode Anda ke TensorFlow 2.0. Tetapi itu tidak dapat membuat kode Anda idiomatis menjadi 2.0. Kode Anda mungkin masih menggunakan endpoint tf.compat.v1 untuk mengakses placeholder, sesi, koleksi, dan fungsionalitas gaya 1.x.

Perubahan perilaku tingkat atas

Jika kode Anda berfungsi di TensorFlow 2.0 menggunakan tf.compat.v1.disable_v2_behavior() , masih ada perubahan perilaku global yang mungkin perlu Anda atasi. Perubahan utamanya adalah:

  • Eksekusi bersemangat, v1.enable_eager_execution() : Kode apa pun yang secara implisit menggunakan tf.Graph akan gagal. Pastikan untuk membungkus kode ini with tf.Graph().as_default() .

  • Variabel sumber daya, v1.enable_resource_variables() : Beberapa kode mungkin bergantung pada perilaku non-deterministik yang diaktifkan oleh variabel referensi TF. Variabel sumber daya dikunci saat sedang ditulis, sehingga memberikan jaminan konsistensi yang lebih intuitif.

    • Ini dapat mengubah perilaku dalam kasus tepi.
    • Ini dapat membuat salinan tambahan dan dapat memiliki penggunaan memori yang lebih tinggi.
    • Ini bisa dinonaktifkan dengan meneruskan use_resource=False ke konstruktor tf.Variable .
  • Bentuk tensor, v1.enable_v2_tensorshape() : TF 2.0 menyederhanakan perilaku bentuk tensor. Daripada t.shape[0].value Anda bisa mengatakan t.shape[0] . Perubahan ini harus kecil, dan masuk akal untuk segera memperbaikinya. Lihat TensorShape untuk mengetahui contohnya.

  • Alur kendali, v1.enable_control_flow_v2() : Implementasi aliran kendali TF 2.0 telah disederhanakan, sehingga menghasilkan representasi grafik yang berbeda. Harap laporkan bug untuk masalah apa pun.

Jadikan kode 2.0-native

Panduan ini akan menjelaskan beberapa contoh tentang cara mengonversi kode TensorFlow 1.x menjadi TensorFlow 2.0. Perubahan ini akan memungkinkan kode Anda memanfaatkan pengoptimalan kinerja dan panggilan API yang disederhanakan.

Dalam setiap kasus, polanya adalah:

1. Ganti panggilan v1.Session.run

Setiap panggilan v1.Session.run harus diganti dengan fungsi Python.

  • The feed_dict dan v1.placeholder s menjadi argumen fungsi.
  • The fetches menjadi nilai kembali fungsi ini.
  • Selama konversi, eksekusi bersemangat memungkinkan debugging yang mudah dengan alat Python standar seperti pdb .

Setelah itu tambahkan dekorator tf.function untuk membuatnya berjalan efisien dalam grafik. Lihat Panduan Tanda Tangan untuk mengetahui lebih lanjut tentang cara kerjanya.

Perhatikan bahwa:

  • Tidak seperti v1.Session.run sebuah tf.function memiliki tanda tangan kembalian tetap, dan selalu mengembalikan semua keluaran. Jika ini menyebabkan masalah kinerja, buat dua fungsi terpisah.

  • Tidak diperlukan tf.control_dependencies atau operasi serupa: Sebuah tf.function berperilaku seolah-olah dijalankan dalam urutan tertulis. tf.Variable assignments dan tf.assert s, misalnya, dijalankan secara otomatis.

Bagian model konversi berisi contoh kerja dari proses konversi ini.

2. Gunakan objek Python untuk melacak variabel dan kerugian

Semua pelacakan variabel berbasis nama sangat tidak disarankan di TF 2.0. Gunakan objek Python untuk melacak variabel.

Gunakan tf.Variable bukan v1.get_variable .

Setiap v1.variable_scope harus diubah menjadi objek Python. Biasanya ini akan menjadi salah satu dari:

Jika Anda perlu daftar agregat dari variabel (seperti tf.Graph.get_collection(tf.GraphKeys.VARIABLES) ), menggunakan .variables dan .trainable_variables atribut Layer dan Model objek.

Kelas Layer dan Model mengimplementasikan beberapa properti lain yang menghilangkan kebutuhan untuk koleksi global. Properti .losses mereka dapat menjadi pengganti untuk menggunakan koleksi tf.GraphKeys.LOSSES .

Lihat panduan keras untuk detailnya.

3. Tingkatkan loop pelatihan Anda

Gunakan API tingkat tertinggi yang sesuai untuk kasus penggunaan Anda. Lebih suka tf.keras.Model.fit daripada membuat loop pelatihan Anda sendiri.

Fungsi tingkat tinggi ini mengelola banyak detail tingkat rendah yang mungkin mudah terlewatkan jika Anda menulis loop pelatihan Anda sendiri. Misalnya, mereka secara otomatis mengumpulkan kerugian regularisasi, dan menyetel argumen training=True saat memanggil model.

4. Tingkatkan pipeline input data Anda

Gunakan tf.data data tf.data untuk input data. Objek ini efisien, ekspresif, dan terintegrasi dengan baik dengan tensorflow.

Mereka dapat diteruskan langsung ke metode tf.keras.Model.fit .

model.fit(dataset, epochs=5)

Mereka dapat diiterasi langsung melalui Python standar:

for example_batch, label_batch in dataset:
    break

5. Migrasi dari simbol compat.v1

Modul tf.compat.v1 berisi API TensorFlow 1.x lengkap, dengan semantik aslinya.

Skrip peningkatan TF2 akan mengonversi simbol ke 2.0 ekuivalennya jika konversi semacam itu aman, yaitu, jika dapat menentukan bahwa perilaku versi 2.0 sama persis (misalnya, akan mengganti nama v1.arg_max menjadi tf.argmax , karena itu adalah fungsi yang sama).

Setelah skrip pemutakhiran selesai dengan sepotong kode, kemungkinan besar ada banyak penyebutan compat.v1 . Layak untuk menelusuri kode dan mengonversinya secara manual ke 2.0 yang setara (harus disebutkan di log jika ada).

Mengonversi model

Variabel tingkat rendah & eksekusi operator

Contoh penggunaan API tingkat rendah meliputi:

Sebelum mengonversi

Berikut adalah tampilan pola dalam kode yang menggunakan TensorFlow 1.x.

import tensorflow as tf
import tensorflow.compat.v1 as v1

import tensorflow_datasets as tfds
g = v1.Graph()

with g.as_default():
  in_a = v1.placeholder(dtype=v1.float32, shape=(2))
  in_b = v1.placeholder(dtype=v1.float32, shape=(2))

  def forward(x):
    with v1.variable_scope("matmul", reuse=v1.AUTO_REUSE):
      W = v1.get_variable("W", initializer=v1.ones(shape=(2,2)),
                          regularizer=lambda x:tf.reduce_mean(x**2))
      b = v1.get_variable("b", initializer=v1.zeros(shape=(2)))
      return W * x + b

  out_a = forward(in_a)
  out_b = forward(in_b)
  reg_loss=v1.losses.get_regularization_loss(scope="matmul")

with v1.Session(graph=g) as sess:
  sess.run(v1.global_variables_initializer())
  outs = sess.run([out_a, out_b, reg_loss],
                feed_dict={in_a: [1, 0], in_b: [0, 1]})

print(outs[0])
print()
print(outs[1])
print()
print(outs[2])
[[1. 0.]
 [1. 0.]]

[[0. 1.]
 [0. 1.]]

1.0

Setelah mengonversi

Dalam kode yang dikonversi:

  • Variabelnya adalah objek Python lokal.
  • Fungsi forward masih mendefinisikan kalkulasi.
  • Panggilan Session.run diganti dengan panggilan untuk forward
  • Dekorator tf.function opsional dapat ditambahkan untuk kinerja.
  • Regularisasi dihitung secara manual, tanpa mengacu pada koleksi global apa pun.
  • Tidak ada sesi atau placeholder.
W = tf.Variable(tf.ones(shape=(2,2)), name="W")
b = tf.Variable(tf.zeros(shape=(2)), name="b")

@tf.function
def forward(x):
  return W * x + b

out_a = forward([1,0])
print(out_a)
tf.Tensor(
[[1. 0.]
 [1. 0.]], shape=(2, 2), dtype=float32)

out_b = forward([0,1])

regularizer = tf.keras.regularizers.l2(0.04)
reg_loss=regularizer(W)

Model berdasarkan tf.layers

Modul v1.layers digunakan untuk memuat fungsi lapisan yang mengandalkan v1.variable_scope untuk mendefinisikan dan menggunakan kembali variabel.

Sebelum mengonversi

def model(x, training, scope='model'):
  with v1.variable_scope(scope, reuse=v1.AUTO_REUSE):
    x = v1.layers.conv2d(x, 32, 3, activation=v1.nn.relu,
          kernel_regularizer=lambda x:0.004*tf.reduce_mean(x**2))
    x = v1.layers.max_pooling2d(x, (2, 2), 1)
    x = v1.layers.flatten(x)
    x = v1.layers.dropout(x, 0.1, training=training)
    x = v1.layers.dense(x, 64, activation=v1.nn.relu)
    x = v1.layers.batch_normalization(x, training=training)
    x = v1.layers.dense(x, 10)
    return x
train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))

train_out = model(train_data, training=True)
test_out = model(test_data, training=False)

print(train_out)
print()
print(test_out)
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:4: conv2d (from tensorflow.python.keras.legacy_tf_layers.convolutional) is deprecated and will be removed in a future version.
Instructions for updating:
Use `tf.keras.layers.Conv2D` instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/legacy_tf_layers/convolutional.py:424: Layer.apply (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version.
Instructions for updating:
Please use `layer.__call__` method instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:5: max_pooling2d (from tensorflow.python.keras.legacy_tf_layers.pooling) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.MaxPooling2D instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:6: flatten (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.Flatten instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:7: dropout (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.dropout instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:8: dense (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.Dense instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:9: batch_normalization (from tensorflow.python.keras.legacy_tf_layers.normalization) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.BatchNormalization instead.  In particular, `tf.control_dependencies(tf.GraphKeys.UPDATE_OPS)` should not be used (consult the `tf.keras.layers.BatchNormalization` documentation).
tf.Tensor([[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(1, 10), dtype=float32)

tf.Tensor(
[[ 0.07562444 -0.27538717  0.21692204  0.2411264  -0.01209673 -0.0923705
   0.19058049 -0.00468709 -0.17215249 -0.07528099]], shape=(1, 10), dtype=float32)

Setelah mengonversi

Kebanyakan argumen tetap sama. Tetapi perhatikan perbedaannya:

  • Argumen training diteruskan ke setiap lapisan oleh model saat dijalankan.
  • Argumen pertama ke fungsi model asli (input x ) hilang. Ini karena lapisan objek memisahkan bangunan model dari pemanggilan model.

Perhatikan juga bahwa:

  • Jika Anda menggunakan tf.contrib penginisialisasi dari tf.contrib , ini memiliki lebih banyak perubahan argumen daripada yang lain.
  • Kode tidak lagi menulis ke koleksi, jadi fungsi seperti v1.losses.get_regularization_loss tidak akan lagi mengembalikan nilai-nilai ini, berpotensi merusak loop pelatihan Anda.
model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.04),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))
train_out = model(train_data, training=True)
print(train_out)
tf.Tensor([[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(1, 10), dtype=float32)

test_out = model(test_data, training=False)
print(test_out)
tf.Tensor(
[[-0.32132083  0.22252844 -0.11330387 -0.4613616  -0.08817139 -0.52697927
  -0.1538124   0.23069203 -0.15860984 -0.453844  ]], shape=(1, 10), dtype=float32)

# Here are all the trainable variables.
len(model.trainable_variables)
8
# Here is the regularization loss.
model.losses
[<tf.Tensor: shape=(), dtype=float32, numpy=0.08671833>]

Variabel campuran & v1.layers

Kode yang ada sering mencampur variabel TF 1.x level rendah dan operasi dengan v1.layers level lebih tinggi.

Sebelum mengonversi

def model(x, training, scope='model'):
  with v1.variable_scope(scope, reuse=v1.AUTO_REUSE):
    W = v1.get_variable(
      "W", dtype=v1.float32,
      initializer=v1.ones(shape=x.shape),
      regularizer=lambda x:0.004*tf.reduce_mean(x**2),
      trainable=True)
    if training:
      x = x + W
    else:
      x = x + W * 0.5
    x = v1.layers.conv2d(x, 32, 3, activation=tf.nn.relu)
    x = v1.layers.max_pooling2d(x, (2, 2), 1)
    x = v1.layers.flatten(x)
    return x

train_out = model(train_data, training=True)
test_out = model(test_data, training=False)

Setelah mengonversi

Untuk mengubah kode ini, ikuti pola pemetaan lapisan ke lapisan seperti pada contoh sebelumnya.

Pola umumnya adalah:

  • Kumpulkan parameter lapisan di __init__ .
  • Buat variabel dalam build .
  • Jalankan kalkulasi dalam call , dan kembalikan hasilnya.

v1.variable_scope pada dasarnya adalah lapisannya sendiri. Jadi tulis ulang sebagai tf.keras.layers.Layer . Lihat panduan untuk detailnya.

# Create a custom layer for part of the model
class CustomLayer(tf.keras.layers.Layer):
  def __init__(self, *args, **kwargs):
    super(CustomLayer, self).__init__(*args, **kwargs)

  def build(self, input_shape):
    self.w = self.add_weight(
        shape=input_shape[1:],
        dtype=tf.float32,
        initializer=tf.keras.initializers.ones(),
        regularizer=tf.keras.regularizers.l2(0.02),
        trainable=True)

  # Call method will sometimes get used in graph mode,
  # training will get turned into a tensor
  @tf.function
  def call(self, inputs, training=None):
    if training:
      return inputs + self.w
    else:
      return inputs + self.w * 0.5
custom_layer = CustomLayer()
print(custom_layer([1]).numpy())
print(custom_layer([1], training=True).numpy())
[1.5]
[2.]

train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))

# Build the model including the custom layer
model = tf.keras.Sequential([
    CustomLayer(input_shape=(28, 28, 1)),
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
])

train_out = model(train_data, training=True)
test_out = model(test_data, training=False)

Beberapa hal yang perlu diperhatikan:

  • Model & lapisan Keras Subclass perlu dijalankan di grafik v1 (tanpa ketergantungan kontrol otomatis) dan dalam mode bersemangat

  • Jangan lupa untuk menerima argumen training untuk call .

    • Terkadang itu adalah tf.Tensor
    • Terkadang itu adalah Python boolean.
  • Buat variabel model dalam konstruktor atau Model.build menggunakan self.add_weight() .

    • Di Model.build Anda memiliki akses ke bentuk masukan, sehingga dapat membuat bobot dengan bentuk yang cocok.
    • Menggunakan tf.keras.layers.Layer.add_weight memungkinkan Keras untuk melacak variabel dan kerugian regularisasi.
  • Jangan simpan tf.Tensors di objek Anda.

    • Mereka mungkin dibuat baik dalam fungsi tf.function dalam konteks bersemangat, dan tensor ini berperilaku berbeda.
    • Gunakan tf.Variable . tf.Variable s untuk status, mereka selalu dapat digunakan dari kedua konteks
    • tf.Tensors hanya untuk nilai menengah.

Catatan tentang Slim & contrib.layers

Sejumlah besar kode TensorFlow 1.x lama menggunakan pustaka Slim , yang dipaketkan dengan TensorFlow 1.x sebagai tf.contrib.layers . Sebagai contrib modul, ini tidak lagi tersedia di TensorFlow 2.0, bahkan dalam tf.compat.v1 . Mengonversi kode menggunakan Slim ke TF 2.0 lebih melibatkan daripada mengubah repositori yang menggunakan v1.layers . Sebenarnya, mungkin masuk akal untuk mengonversi kode Slim Anda ke v1.layers terlebih dahulu, kemudian mengonversi ke Keras.

  • Hapus arg_scopes , semua argumen harus eksplisit
  • Jika Anda menggunakannya, pisahkan normalizer_fn dan activation_fn ke dalam lapisannya masing-masing
  • Lapisan konv yang dapat dipisahkan dipetakan ke satu atau beberapa lapisan Keras yang berbeda (kedalaman, arah jarum jam, dan lapisan Keras yang dapat dipisahkan)
  • Slim dan v1.layers memiliki nama arg & nilai default yang berbeda
  • Beberapa argumentasi memiliki skala yang berbeda
  • Jika Anda menggunakan model pra-terlatih Slim, coba model yang telah dilatih Keras dari tf.keras.applications atau TF2 SavedModels TF Hub yang diekspor dari kode Slim asli.

Beberapa lapisan tf.contrib mungkin belum dipindahkan ke inti TensorFlow tetapi malah telah dipindahkan ke paket add-on TF .

Latihan

Ada banyak cara untuk memasukkan data ke model tf.keras . Mereka akan menerima generator Python dan array Numpy sebagai input.

Cara yang direkomendasikan untuk memasukkan data ke model adalah dengan menggunakan paket tf.data , yang berisi kumpulan kelas berperforma tinggi untuk memanipulasi data.

Jika Anda masih menggunakan tf.queue , ini sekarang hanya didukung sebagai struktur data, bukan sebagai pipeline input.

Menggunakan Kumpulan Data

Paket TensorFlow Dataset ( tfds ) berisi utilitas untuk memuattf.data.Dataset data yang telah ditentukan sebelumnya sebagai objektf.data.Dataset .

Untuk contoh ini, muat kumpulan data MNIST, menggunakan tfds :

datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True)
mnist_train, mnist_test = datasets['train'], datasets['test']
Downloading and preparing dataset mnist/3.0.1 (download: 11.06 MiB, generated: 21.00 MiB, total: 32.06 MiB) to /home/kbuilder/tensorflow_datasets/mnist/3.0.1...

Warning:absl:Dataset mnist is hosted on GCS. It will automatically be downloaded to your
local data directory. If you'd instead prefer to read directly from our public
GCS bucket (recommended if you're running on GCP), you can instead pass
`try_gcs=True` to `tfds.load` or set `data_dir=gs://tfds-data/datasets`.


Dataset mnist downloaded and prepared to /home/kbuilder/tensorflow_datasets/mnist/3.0.1. Subsequent calls will reuse this data.

Kemudian siapkan data untuk pelatihan:

  • Ubah skala setiap gambar.
  • Kocok urutan contoh.
  • Kumpulkan sejumlah gambar dan label.
BUFFER_SIZE = 10 # Use a much larger value for real code.
BATCH_SIZE = 64
NUM_EPOCHS = 5


def scale(image, label):
  image = tf.cast(image, tf.float32)
  image /= 255

  return image, label

Agar contoh tetap singkat, pangkas kumpulan data agar hanya mengembalikan 5 kelompok:

train_data = mnist_train.map(scale).shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
test_data = mnist_test.map(scale).batch(BATCH_SIZE)

STEPS_PER_EPOCH = 5

train_data = train_data.take(STEPS_PER_EPOCH)
test_data = test_data.take(STEPS_PER_EPOCH)
image_batch, label_batch = next(iter(train_data))

Gunakan loop pelatihan Keras

Jika Anda tidak perlu kontrol tingkat rendah dari proses pelatihan Anda, menggunakan Keras built-in fit , evaluate , dan predict metode dianjurkan. Metode ini menyediakan antarmuka yang seragam untuk melatih model terlepas dari implementasinya (berurutan, fungsional, atau sub-kelas).

Keuntungan dari metode ini meliputi:

  • Mereka menerima array Numpy, generator Python dan, tf.data.Datasets
  • Mereka menerapkan regularisasi, dan kerugian aktivasi secara otomatis.
  • Mereka mendukung tf.distribute untuk pelatihan multi-perangkat .
  • Mereka mendukung callable sewenang-wenang sebagai kerugian dan metrik.
  • Mereka mendukung callback seperti tf.keras.callbacks.TensorBoard , dan callback kustom.
  • Mereka berperforma baik, secara otomatis menggunakan grafik TensorFlow.

Berikut adalah contoh melatih model menggunakan Dataset . (Untuk detail tentang cara kerjanya, lihat tutorial .)

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

# Model is the full model w/o custom layers
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_data, epochs=NUM_EPOCHS)
loss, acc = model.evaluate(test_data)

print("Loss {}, Accuracy {}".format(loss, acc))
Epoch 1/5
5/5 [==============================] - 0s 6ms/step - loss: 1.5665 - accuracy: 0.4969
Epoch 2/5
5/5 [==============================] - 0s 6ms/step - loss: 0.5249 - accuracy: 0.8656
Epoch 3/5
5/5 [==============================] - 0s 5ms/step - loss: 0.3246 - accuracy: 0.9438
Epoch 4/5
5/5 [==============================] - 0s 6ms/step - loss: 0.2407 - accuracy: 0.9719
Epoch 5/5
5/5 [==============================] - 0s 5ms/step - loss: 0.1841 - accuracy: 0.9906
5/5 [==============================] - 0s 4ms/step - loss: 1.5957 - accuracy: 0.5375
Loss 1.5956770181655884, Accuracy 0.5375000238418579

Tulis lingkaran Anda sendiri

Jika langkah pelatihan model Keras berhasil untuk Anda, tetapi Anda memerlukan lebih banyak kontrol di luar langkah itu, pertimbangkan untuk menggunakan metode tf.keras.Model.train_on_batch , di loop iterasi data Anda sendiri.

Ingat: Banyak hal yang dapat diimplementasikan sebagai tf.keras.callbacks.Callback .

Metode ini memiliki banyak keuntungan dari metode yang disebutkan di bagian sebelumnya, tetapi memberikan kontrol pengguna untuk loop luar.

Anda juga dapat menggunakan tf.keras.Model.test_on_batch atau tf.keras.Model.evaluate untuk memeriksa kinerja selama pelatihan.

Untuk melanjutkan melatih model di atas:

# Model is the full model w/o custom layers
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

for epoch in range(NUM_EPOCHS):
  #Reset the metric accumulators
  model.reset_metrics()

  for image_batch, label_batch in train_data:
    result = model.train_on_batch(image_batch, label_batch)
    metrics_names = model.metrics_names
    print("train: ",
          "{}: {:.3f}".format(metrics_names[0], result[0]),
          "{}: {:.3f}".format(metrics_names[1], result[1]))
  for image_batch, label_batch in test_data:
    result = model.test_on_batch(image_batch, label_batch,
                                 # return accumulated metrics
                                 reset_metrics=False)
  metrics_names = model.metrics_names
  print("\neval: ",
        "{}: {:.3f}".format(metrics_names[0], result[0]),
        "{}: {:.3f}".format(metrics_names[1], result[1]))
train:  loss: 0.145 accuracy: 1.000
train:  loss: 0.183 accuracy: 0.984
train:  loss: 0.216 accuracy: 0.953
train:  loss: 0.229 accuracy: 0.938
train:  loss: 0.201 accuracy: 0.969

eval:  loss: 1.588 accuracy: 0.628
train:  loss: 0.097 accuracy: 1.000
train:  loss: 0.101 accuracy: 1.000
train:  loss: 0.086 accuracy: 1.000
train:  loss: 0.130 accuracy: 0.984
train:  loss: 0.127 accuracy: 1.000

eval:  loss: 1.580 accuracy: 0.766
train:  loss: 0.086 accuracy: 1.000
train:  loss: 0.081 accuracy: 1.000
train:  loss: 0.079 accuracy: 1.000
train:  loss: 0.076 accuracy: 1.000
train:  loss: 0.077 accuracy: 1.000

eval:  loss: 1.542 accuracy: 0.809
train:  loss: 0.067 accuracy: 1.000
train:  loss: 0.068 accuracy: 1.000
train:  loss: 0.063 accuracy: 1.000
train:  loss: 0.063 accuracy: 1.000
train:  loss: 0.056 accuracy: 1.000

eval:  loss: 1.503 accuracy: 0.816
train:  loss: 0.055 accuracy: 1.000
train:  loss: 0.056 accuracy: 1.000
train:  loss: 0.048 accuracy: 1.000
train:  loss: 0.051 accuracy: 1.000
train:  loss: 0.048 accuracy: 1.000

eval:  loss: 1.482 accuracy: 0.828

Sesuaikan langkah pelatihan

Jika Anda membutuhkan lebih banyak fleksibilitas dan kontrol, Anda dapat memilikinya dengan menerapkan loop pelatihan Anda sendiri. Ada tiga langkah:

  1. Iterasi melalui generator Python atautf.data.Dataset untuk mendapatkantf.data.Dataset contoh.
  2. Gunakantf.GradientTape untuk mengumpulkan gradien.
  3. Gunakan salah satu tf.keras.optimizers untuk menerapkan pembaruan bobot ke variabel model.

Ingat:

  • Selalu sertakan argumen training tentang metode call lapisan dan model subclass.
  • Pastikan untuk memanggil model dengan argumen training disetel dengan benar.
  • Bergantung pada penggunaan, variabel model mungkin tidak ada sampai model dijalankan pada sekumpulan data.
  • Anda perlu menangani hal-hal seperti kerugian regularisasi secara manual untuk model tersebut.

Perhatikan penyederhanaan yang berhubungan dengan v1:

  • Tidak perlu menjalankan penginisialisasi variabel. Variabel diinisialisasi saat pembuatan.
  • Tidak perlu menambahkan dependensi kontrol manual. Bahkan dalam operasi tf.function bertindak seperti dalam mode bersemangat.
model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

optimizer = tf.keras.optimizers.Adam(0.001)
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)

@tf.function
def train_step(inputs, labels):
  with tf.GradientTape() as tape:
    predictions = model(inputs, training=True)
    regularization_loss=tf.math.add_n(model.losses)
    pred_loss=loss_fn(labels, predictions)
    total_loss=pred_loss + regularization_loss

  gradients = tape.gradient(total_loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

for epoch in range(NUM_EPOCHS):
  for inputs, labels in train_data:
    train_step(inputs, labels)
  print("Finished epoch", epoch)
Finished epoch 0
Finished epoch 1
Finished epoch 2
Finished epoch 3
Finished epoch 4

Metrik dan kerugian gaya baru

Di TensorFlow 2.0, metrik dan kerugian adalah objek. Ini bekerja dengan penuh semangat dan dalam tf.function s.

Objek kerugian dapat dipanggil, dan mengharapkan (y_true, y_pred) sebagai argumen:

cce = tf.keras.losses.CategoricalCrossentropy(from_logits=True)
cce([[1, 0]], [[-1.0,3.0]]).numpy()
4.01815

Objek metrik memiliki metode berikut:

Objek itu sendiri bisa dipanggil. Memanggil memperbarui status dengan pengamatan baru, seperti update_state , dan mengembalikan hasil baru dari metrik.

Anda tidak perlu menginisialisasi variabel metrik secara manual, dan karena TensorFlow 2.0 memiliki dependensi kontrol otomatis, Anda juga tidak perlu mengkhawatirkannya.

Kode di bawah ini menggunakan metrik untuk melacak kerugian rata-rata yang diamati dalam loop pelatihan kustom.

# Create the metrics
loss_metric = tf.keras.metrics.Mean(name='train_loss')
accuracy_metric = tf.keras.metrics.SparseCategoricalAccuracy(name='train_accuracy')

@tf.function
def train_step(inputs, labels):
  with tf.GradientTape() as tape:
    predictions = model(inputs, training=True)
    regularization_loss=tf.math.add_n(model.losses)
    pred_loss=loss_fn(labels, predictions)
    total_loss=pred_loss + regularization_loss

  gradients = tape.gradient(total_loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))
  # Update the metrics
  loss_metric.update_state(total_loss)
  accuracy_metric.update_state(labels, predictions)


for epoch in range(NUM_EPOCHS):
  # Reset the metrics
  loss_metric.reset_states()
  accuracy_metric.reset_states()

  for inputs, labels in train_data:
    train_step(inputs, labels)
  # Get the metric results
  mean_loss=loss_metric.result()
  mean_accuracy = accuracy_metric.result()

  print('Epoch: ', epoch)
  print('  loss:     {:.3f}'.format(mean_loss))
  print('  accuracy: {:.3f}'.format(mean_accuracy))
Epoch:  0
  loss:     0.207
  accuracy: 0.991
Epoch:  1
  loss:     0.167
  accuracy: 0.994
Epoch:  2
  loss:     0.147
  accuracy: 0.997
Epoch:  3
  loss:     0.123
  accuracy: 0.997
Epoch:  4
  loss:     0.109
  accuracy: 0.997

Nama metrik Keras

Dalam model TensorFlow 2.0 keras lebih konsisten dalam menangani nama metrik.

Sekarang ketika Anda melewati string dalam daftar metrik, yang string tepat digunakan sebagai metrik ini name . Nama ini terlihat di objek histori yang dikembalikan oleh model.fit , dan di log yang diteruskan ke keras.callbacks . disetel ke string yang Anda berikan di daftar metrik.

model.compile(
    optimizer = tf.keras.optimizers.Adam(0.001),
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics = ['acc', 'accuracy', tf.keras.metrics.SparseCategoricalAccuracy(name="my_accuracy")])
history = model.fit(train_data)
5/5 [==============================] - 0s 6ms/step - loss: 0.1233 - acc: 0.9937 - accuracy: 0.9937 - my_accuracy: 0.9937

history.history.keys()
dict_keys(['loss', 'acc', 'accuracy', 'my_accuracy'])

Ini berbeda dari versi sebelumnya di mana melewatkan metrics=["accuracy"] akan menghasilkan dict_keys(['loss', 'acc'])

Pengoptimal keras

Pengoptimal di v1.train , seperti v1.train.AdamOptimizer dan v1.train.GradientDescentOptimizer , memiliki padanan di tf.keras.optimizers .

Ubah v1.train menjadi keras.optimizers

Berikut hal-hal yang perlu diperhatikan saat mengonversi pengoptimal Anda:

Default baru untuk beberapa tf.keras.optimizers

Tidak ada perubahan untuk optimizers.SGD , optimizers.Adam , atau optimizers.RMSprop .

Kecepatan pembelajaran default berikut telah berubah:

TensorBoard

TensorFlow 2 menyertakan perubahan signifikan pada tf.summary API yang digunakan untuk menulis data ringkasan untuk visualisasi di TensorBoard. Untuk pengenalan umum pada tf.summary baru, tersedia beberapa tutorial yang menggunakan TF 2 API. Ini termasuk Panduan Migrasi TF 2 TensorBoard

Menyimpan & Memuat

Kompatibilitas pos pemeriksaan

TensorFlow 2.0 menggunakan pos pemeriksaan berbasis objek .

Pos pemeriksaan berbasis nama gaya lama masih dapat dimuat, jika Anda berhati-hati. Proses konversi kode dapat mengakibatkan perubahan nama variabel, tetapi ada beberapa solusi.

Pendekatan paling sederhana untuk menyejajarkan nama model baru dengan nama di pos pemeriksaan:

  • Variabel masih semuanya memiliki argumen name yang dapat Anda atur.
  • Model Keras juga menggunakan argumen name yang mereka setel sebagai awalan untuk variabel mereka.
  • Fungsi v1.name_scope dapat digunakan untuk mengatur awalan nama variabel. Ini sangat berbeda dari tf.variable_scope . Ini hanya mempengaruhi nama, dan tidak melacak variabel & digunakan kembali.

Jika itu tidak berhasil untuk kasus penggunaan Anda, coba fungsi v1.train.init_from_checkpoint . Dibutuhkan argumen assignment_map , yang menentukan pemetaan dari nama lama ke nama baru.

Repositori TensorFlow Estimator menyertakan fitur konversi untuk mengupgrade checkpoint untuk estimator yang dibuat sebelumnya dari TensorFlow 1.X ke 2.0. Ini dapat berfungsi sebagai contoh cara membuat alat untuk kasus penggunaan serupa.

Kompatibilitas model yang disimpan

Tidak ada masalah kompatibilitas yang signifikan untuk model yang disimpan.

  • TensorFlow 1.x stored_models berfungsi di TensorFlow 2.x.
  • TensorFlow 2.x save_models berfungsi di TensorFlow 1.x — jika semua operasi didukung.

Sebuah Graph.pb atau Graph.pbtxt

Tidak ada cara mudah untuk mengupgrade file Graph.pb mentah ke TensorFlow 2.0. Taruhan terbaik Anda adalah meningkatkan kode yang menghasilkan file.

Tapi, jika Anda memiliki "grafik Frozen" (a tf.Graph mana variabel telah berubah menjadi konstanta), maka adalah mungkin untuk mengubahnya ke concrete_function menggunakan v1.wrap_function :

def wrap_frozen_graph(graph_def, inputs, outputs):
  def _imports_graph_def():
    tf.compat.v1.import_graph_def(graph_def, name="")
  wrapped_import = tf.compat.v1.wrap_function(_imports_graph_def, [])
  import_graph = wrapped_import.graph
  return wrapped_import.prune(
      tf.nest.map_structure(import_graph.as_graph_element, inputs),
      tf.nest.map_structure(import_graph.as_graph_element, outputs))

Misalnya, berikut adalah grafik yang dibekukan untuk Inception v1, dari 2016:

path = tf.keras.utils.get_file(
    'inception_v1_2016_08_28_frozen.pb',
    'http://storage.googleapis.com/download.tensorflow.org/models/inception_v1_2016_08_28_frozen.pb.tar.gz',
    untar=True)
Downloading data from http://storage.googleapis.com/download.tensorflow.org/models/inception_v1_2016_08_28_frozen.pb.tar.gz
24698880/24695710 [==============================] - 1s 0us/step

Muat tf.GraphDef :

graph_def = tf.compat.v1.GraphDef()
loaded = graph_def.ParseFromString(open(path,'rb').read())

Bungkus menjadi concrete_function :

inception_func = wrap_frozen_graph(
    graph_def, inputs='input:0',
    outputs='InceptionV1/InceptionV1/Mixed_3b/Branch_1/Conv2d_0a_1x1/Relu:0')

Berikan tensor sebagai masukan:

input_img = tf.ones([1,224,224,3], dtype=tf.float32)
inception_func(input_img).shape
TensorShape([1, 28, 28, 96])

Estimator

Pelatihan dengan Estimator

Estimator didukung di TensorFlow 2.0.

Saat Anda menggunakan estimator, Anda dapat menggunakan input_fn() , tf.estimator.TrainSpec , dan tf.estimator.EvalSpec dari TensorFlow 1.x.

Berikut adalah contoh menggunakan input_fn dengan spesifikasi train dan evaluasi.

Membuat spesifikasi input_fn dan train / eval

# Define the estimator's input_fn
def input_fn():
  datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True)
  mnist_train, mnist_test = datasets['train'], datasets['test']

  BUFFER_SIZE = 10000
  BATCH_SIZE = 64

  def scale(image, label):
    image = tf.cast(image, tf.float32)
    image /= 255

    return image, label[..., tf.newaxis]

  train_data = mnist_train.map(scale).shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
  return train_data.repeat()

# Define train & eval specs
train_spec = tf.estimator.TrainSpec(input_fn=input_fn,
                                    max_steps=STEPS_PER_EPOCH * NUM_EPOCHS)
eval_spec = tf.estimator.EvalSpec(input_fn=input_fn,
                                  steps=STEPS_PER_EPOCH)

Menggunakan definisi model Keras

Ada beberapa perbedaan dalam cara membuat estimator Anda di TensorFlow 2.0.

Kami menyarankan Anda untuk menentukan model Anda menggunakan Keras, kemudian gunakan utilitas tf.keras.estimator.model_to_estimator untuk mengubah model Anda menjadi penaksir. Kode di bawah ini menunjukkan bagaimana menggunakan utilitas ini saat membuat dan melatih estimator.

def make_model():
  return tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
  ])
model = make_model()

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

estimator = tf.keras.estimator.model_to_estimator(
  keras_model = model
)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp333woaev

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp333woaev

INFO:tensorflow:Using the Keras model provided.

INFO:tensorflow:Using the Keras model provided.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/keras.py:220: set_learning_phase (from tensorflow.python.keras.backend) is deprecated and will be removed after 2020-10-11.
Instructions for updating:
Simply pass a True/False value to the `training` argument of the `__call__` method of your layer or model.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/keras.py:220: set_learning_phase (from tensorflow.python.keras.backend) is deprecated and will be removed after 2020-10-11.
Instructions for updating:
Simply pass a True/False value to the `training` argument of the `__call__` method of your layer or model.

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp333woaev', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp333woaev', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmp333woaev/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmp333woaev/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting from: /tmp/tmp333woaev/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting from: /tmp/tmp333woaev/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-started 8 variables.

INFO:tensorflow:Warm-started 8 variables.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp333woaev/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp333woaev/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.946777, step = 0

INFO:tensorflow:loss = 2.946777, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp333woaev/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp333woaev/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:37Z

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:37Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmp333woaev/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmp333woaev/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.84716s

INFO:tensorflow:Inference Time : 0.84716s

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:38

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:38

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.715625, global_step = 25, loss = 1.5356585

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.715625, global_step = 25, loss = 1.5356585

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp333woaev/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp333woaev/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.52498615.

INFO:tensorflow:Loss for final step: 0.52498615.

({'accuracy': 0.715625, 'loss': 1.5356585, 'global_step': 25}, [])

Menggunakan model_fn kustom

Jika Anda memiliki estimator kustom model_fn yang perlu Anda pertahankan, Anda dapat mengonversi model_fn Anda untuk menggunakan model Keras.

Namun, untuk alasan kompatibilitas, model_fn khusus akan tetap berjalan dalam mode grafik gaya 1.x. Ini berarti tidak ada eksekusi yang bersemangat dan tidak ada ketergantungan kontrol otomatis.

Model_fn kustom dengan sedikit perubahan

Agar model_fn kustom Anda berfungsi di TF 2.0, jika Anda lebih suka sedikit perubahan pada kode yang ada, simbol tf.compat.v1 seperti optimizers dan metrics dapat digunakan.

Menggunakan model Keras di model_fn kustom mirip dengan menggunakannya di loop pelatihan kustom:

  • Setel fase training tepat, berdasarkan argumen mode .
  • Teruskan secara eksplisit trainable_variables model ke pengoptimal.

Namun ada perbedaan penting, terkait dengan pengulangan khusus :

  • Alih-alih menggunakan Model.losses , ekstrak kerugian menggunakan Model.get_losses_for .
  • Ekstrak pembaruan model menggunakan Model.get_updates_for .

Kode berikut membuat estimator dari model_fn kustom, yang menggambarkan semua masalah ini.

def my_model_fn(features, labels, mode):
  model = make_model()

  optimizer = tf.compat.v1.train.AdamOptimizer()
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)

  training = (mode == tf.estimator.ModeKeys.TRAIN)
  predictions = model(features, training=training)

  if mode == tf.estimator.ModeKeys.PREDICT:
    return tf.estimator.EstimatorSpec(mode=mode, predictions=predictions)

  reg_losses = model.get_losses_for(None) + model.get_losses_for(features)
  total_loss=loss_fn(labels, predictions) + tf.math.add_n(reg_losses)

  accuracy = tf.compat.v1.metrics.accuracy(labels=labels,
                                           predictions=tf.math.argmax(predictions, axis=1),
                                           name='acc_op')

  update_ops = model.get_updates_for(None) + model.get_updates_for(features)
  minimize_op = optimizer.minimize(
      total_loss,
      var_list=model.trainable_variables,
      global_step=tf.compat.v1.train.get_or_create_global_step())
  train_op = tf.group(minimize_op, update_ops)

  return tf.estimator.EstimatorSpec(
    mode=mode,
    predictions=predictions,
    loss=total_loss,
    train_op=train_op, eval_metric_ops={'accuracy': accuracy})

# Create the Estimator & Train
estimator = tf.estimator.Estimator(model_fn=my_model_fn)
tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpnhx_c2r_

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpnhx_c2r_

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpnhx_c2r_', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpnhx_c2r_', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpnhx_c2r_/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpnhx_c2r_/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.7539256, step = 0

INFO:tensorflow:loss = 2.7539256, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpnhx_c2r_/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpnhx_c2r_/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:41Z

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:41Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmpnhx_c2r_/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmpnhx_c2r_/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.94175s

INFO:tensorflow:Inference Time : 0.94175s

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:42

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:42

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.678125, global_step = 25, loss = 1.5622549

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.678125, global_step = 25, loss = 1.5622549

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpnhx_c2r_/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpnhx_c2r_/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.39462265.

INFO:tensorflow:Loss for final step: 0.39462265.

({'accuracy': 0.678125, 'loss': 1.5622549, 'global_step': 25}, [])

model_fn kustom dengan simbol TF 2.0

Jika Anda ingin menghapus semua simbol TF 1.x dan meningkatkan model_fn kustom Anda ke TF 2.0 asli, Anda perlu memperbarui pengoptimal dan metrik ke tf.keras.optimizers dan tf.keras.metrics .

Di model_fn khusus, selain perubahan di atas, lebih banyak peningkatan perlu dilakukan:

Untuk contoh my_model_fn , kode yang dimigrasikan dengan simbol 2.0 ditampilkan sebagai:

def my_model_fn(features, labels, mode):
  model = make_model()

  training = (mode == tf.estimator.ModeKeys.TRAIN)
  loss_obj = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
  predictions = model(features, training=training)

  # Get both the unconditional losses (the None part)
  # and the input-conditional losses (the features part).
  reg_losses = model.get_losses_for(None) + model.get_losses_for(features)
  total_loss=loss_obj(labels, predictions) + tf.math.add_n(reg_losses)

  # Upgrade to tf.keras.metrics.
  accuracy_obj = tf.keras.metrics.Accuracy(name='acc_obj')
  accuracy = accuracy_obj.update_state(
      y_true=labels, y_pred=tf.math.argmax(predictions, axis=1))

  train_op = None
  if training:
    # Upgrade to tf.keras.optimizers.
    optimizer = tf.keras.optimizers.Adam()
    # Manually assign tf.compat.v1.global_step variable to optimizer.iterations
    # to make tf.compat.v1.train.global_step increased correctly.
    # This assignment is a must for any `tf.train.SessionRunHook` specified in
    # estimator, as SessionRunHooks rely on global step.
    optimizer.iterations = tf.compat.v1.train.get_or_create_global_step()
    # Get both the unconditional updates (the None part)
    # and the input-conditional updates (the features part).
    update_ops = model.get_updates_for(None) + model.get_updates_for(features)
    # Compute the minimize_op.
    minimize_op = optimizer.get_updates(
        total_loss,
        model.trainable_variables)[0]
    train_op = tf.group(minimize_op, *update_ops)

  return tf.estimator.EstimatorSpec(
    mode=mode,
    predictions=predictions,
    loss=total_loss,
    train_op=train_op,
    eval_metric_ops={'Accuracy': accuracy_obj})

# Create the Estimator & Train.
estimator = tf.estimator.Estimator(model_fn=my_model_fn)
tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp3kddt__h

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp3kddt__h

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp3kddt__h', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp3kddt__h', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp3kddt__h/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp3kddt__h/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.4914804, step = 0

INFO:tensorflow:loss = 2.4914804, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp3kddt__h/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp3kddt__h/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:45Z

INFO:tensorflow:Starting evaluation at 2020-10-15T01:27:45Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmp3kddt__h/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmp3kddt__h/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.91708s

INFO:tensorflow:Inference Time : 0.91708s

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:46

INFO:tensorflow:Finished evaluation at 2020-10-15-01:27:46

INFO:tensorflow:Saving dict for global step 25: Accuracy = 0.690625, global_step = 25, loss = 1.554177

INFO:tensorflow:Saving dict for global step 25: Accuracy = 0.690625, global_step = 25, loss = 1.554177

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp3kddt__h/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp3kddt__h/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.3999393.

INFO:tensorflow:Loss for final step: 0.3999393.

({'Accuracy': 0.690625, 'loss': 1.554177, 'global_step': 25}, [])

Estimator Premade

Estimator Premade dalam keluarga tf.estimator.DNN* , tf.estimator.Linear* dan tf.estimator.DNNLinearCombined* masih didukung di TensorFlow 2.0 API, namun, beberapa argumen telah berubah:

  1. input_layer_partitioner : Dihapus di 2.0.
  2. loss_reduction : Diperbarui ke tf.keras.losses.Reduction bukan tf.compat.v1.losses.Reduction . Nilai defaultnya juga diubah menjadi tf.keras.losses.Reduction.SUM_OVER_BATCH_SIZE dari tf.compat.v1.losses.Reduction.SUM .
  3. optimizer , dnn_optimizer , dan linear_optimizer : linear_optimizer ini telah diperbarui menjadi tf.keras.optimizers alih-alih tf.compat.v1.train.Optimizer .

Untuk memindahkan perubahan di atas:

  1. Tidak diperlukan migrasi untuk input_layer_partitioner karena Distribution Strategy akan menanganinya secara otomatis di TF 2.0.
  2. Untuk loss_reduction , periksa tf.keras.losses.Reduction untuk opsi yang didukung.
  3. Untuk argumen optimizer , jika Anda tidak meneruskan dnn_optimizer optimizer , dnn_optimizer atau linear_optimizer , atau jika Anda menentukan linear_optimizer optimizer sebagai string dalam kode Anda, Anda tidak perlu mengubah apa pun. tf.keras.optimizers digunakan secara default. Jika tidak, Anda perlu memperbarui dari tf.compat.v1.train.Optimizer ke yang sesuai tf.keras.optimizers

Konverter pos pemeriksaan

Migrasi ke keras.optimizers akan merusak checkpoint yang disimpan menggunakan TF 1.x, karena tf.keras.optimizers menghasilkan sekumpulan variabel berbeda untuk disimpan di checkpoint. Untuk membuat pos pemeriksaan lama dapat digunakan kembali setelah migrasi Anda ke TF 2.0, coba alat konverter pos pemeriksaan .

 curl -O https://raw.githubusercontent.com/tensorflow/estimator/master/tensorflow_estimator/python/estimator/tools/checkpoint_converter.py
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15165  100 15165    0     0  32265      0 --:--:-- --:--:-- --:--:-- 32197

Alat ini memiliki bantuan bawaan:

 python checkpoint_converter.py -h
2020-10-15 01:27:47.423752: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
usage: checkpoint_converter.py [-h]
                               {dnn,linear,combined} source_checkpoint
                               source_graph target_checkpoint

positional arguments:
  {dnn,linear,combined}
                        The type of estimator to be converted. So far, the
                        checkpoint converter only supports Canned Estimator.
                        So the allowed types include linear, dnn and combined.
  source_checkpoint     Path to source checkpoint file to be read in.
  source_graph          Path to source graph file to be read in.
  target_checkpoint     Path to checkpoint file to be written out.

optional arguments:
  -h, --help            show this help message and exit

TensorShape

Kelas ini disederhanakan untuk menampung int s, bukan objek tf.compat.v1.Dimension . Jadi tidak perlu memanggil .value() untuk mendapatkan int .

Objek tf.compat.v1.Dimension individual masih dapat diakses dari tf.TensorShape.dims .

Berikut ini menunjukkan perbedaan antara TensorFlow 1.x dan TensorFlow 2.0.

# Create a shape and choose an index
i = 0
shape = tf.TensorShape([16, None, 256])
shape
TensorShape([16, None, 256])

Jika Anda memiliki ini di TF 1.x:

value = shape[i].value

Kemudian lakukan ini di TF 2.0:

value = shape[i]
value
16

Jika Anda memiliki ini di TF 1.x:

for dim in shape:
    value = dim.value
    print(value)

Kemudian lakukan ini di TF 2.0:

for value in shape:
  print(value)
16
None
256

Jika Anda memiliki ini di TF 1.x (Atau menggunakan metode dimensi lain):

dim = shape[i]
dim.assert_is_compatible_with(other_dim)

Kemudian lakukan ini di TF 2.0:

other_dim = 16
Dimension = tf.compat.v1.Dimension

if shape.rank is None:
  dim = Dimension(None)
else:
  dim = shape.dims[i]
dim.is_compatible_with(other_dim) # or any other dimension method
True
shape = tf.TensorShape(None)

if shape:
  dim = shape.dims[i]
  dim.is_compatible_with(other_dim) # or any other dimension method

Nilai boolean dari tf.TensorShape adalah True jika rangkingnya diketahui, False sebaliknya.

print(bool(tf.TensorShape([])))      # Scalar
print(bool(tf.TensorShape([0])))     # 0-length vector
print(bool(tf.TensorShape([1])))     # 1-length vector
print(bool(tf.TensorShape([None])))  # Unknown-length vector
print(bool(tf.TensorShape([1, 10, 100])))       # 3D tensor
print(bool(tf.TensorShape([None, None, None]))) # 3D tensor with no known dimensions
print()
print(bool(tf.TensorShape(None)))  # A tensor with unknown rank.
True
True
True
True
True
True

False

Perubahan Lainnya

  • Hapus tf.colocate_with : Algoritme penempatan perangkat TensorFlow telah meningkat secara signifikan. Ini seharusnya tidak lagi diperlukan. Jika menghapusnya menyebabkan penurunan kinerja, harap laporkan bug .

  • Ganti penggunaan v1.ConfigProto dengan fungsi yang setara dari tf.config .

Kesimpulan

Proses keseluruhannya adalah:

  1. Jalankan skrip peningkatan.
  2. Hapus simbol kontribusi.
  3. Alihkan model Anda ke gaya berorientasi objek (Keras).
  4. Gunakan tf.keras pelatihan dan evaluasi tf.keras atau tf.estimator jika Anda bisa.
  5. Jika tidak, gunakan loop khusus, tetapi pastikan untuk menghindari sesi & koleksi.

Perlu sedikit usaha untuk mengonversi kode menjadi TensorFlow 2.0 idiomatik, tetapi setiap perubahan menghasilkan:

  • Lebih sedikit baris kode.
  • Peningkatan kejelasan dan kesederhanaan.
  • Debugging lebih mudah.