คู่มือการตัดแต่งกิ่ง

ดูบน TensorFlow.org

ทำงานใน Google Colab

ดูแหล่งที่มาบน GitHub

ดาวน์โหลดโน๊ตบุ๊ค

ยินดีต้อนรับสู่คำแนะนำที่ครอบคลุมสำหรับการตัดแต่งกิ่งน้ำหนัก Keras

หน้านี้จัดทำเอกสารกรณีการใช้งานต่างๆ และแสดงวิธีใช้ API สำหรับแต่ละกรณี เมื่อคุณทราบว่า API ที่คุณต้องการหาพารามิเตอร์และรายละเอียดในระดับต่ำใน เอกสาร API

• หากคุณต้องการที่จะเห็นประโยชน์ของการตัดแต่งกิ่งและสิ่งที่เป็นได้รับการสนับสนุนให้ดู ภาพรวม
• สำหรับตัวอย่างแบบ end-to-end เดียวดู ตัวอย่างการตัดแต่งกิ่ง

ครอบคลุมกรณีการใช้งานต่อไปนี้:

• กำหนดและฝึกแบบจำลองที่ตัดแต่งแล้ว
  • ตามลำดับและการทำงาน
  • Keras model.fit และลูปการฝึกแบบกำหนดเอง
• ด่านและดีซีเรียลไลซ์โมเดลที่ถูกตัดแต่งแล้ว
• ปรับใช้แบบจำลองที่ตัดแต่งแล้วและดูประโยชน์ของการบีบอัด

สำหรับการกำหนดค่าของขั้นตอนวิธีการตัดแต่งกิ่งให้ดูที่ tfmot.sparsity.keras.prune_low_magnitude เอกสาร API

ติดตั้ง

สำหรับการค้นหา API ที่คุณต้องการและทำความเข้าใจวัตถุประสงค์ คุณสามารถเรียกใช้แต่ข้ามการอ่านส่วนนี้

! pip install -q tensorflow-model-optimization

import tensorflow as tf
import numpy as np
import tensorflow_model_optimization as tfmot

%load_ext tensorboard

import tempfile

input_shape = [20]
x_train = np.random.randn(1, 20).astype(np.float32)
y_train = tf.keras.utils.to_categorical(np.random.randn(1), num_classes=20)

def setup_model():
  model = tf.keras.Sequential([
      tf.keras.layers.Dense(20, input_shape=input_shape),
      tf.keras.layers.Flatten()
  ])
  return model

def setup_pretrained_weights():
  model = setup_model()

  model.compile(
      loss=tf.keras.losses.categorical_crossentropy,
      optimizer='adam',
      metrics=['accuracy']
  )

  model.fit(x_train, y_train)

  _, pretrained_weights = tempfile.mkstemp('.tf')

  model.save_weights(pretrained_weights)

  return pretrained_weights

def get_gzipped_model_size(model):
  # Returns size of gzipped model, in bytes.
  import os
  import zipfile

  _, keras_file = tempfile.mkstemp('.h5')
  model.save(keras_file, include_optimizer=False)

  _, zipped_file = tempfile.mkstemp('.zip')
  with zipfile.ZipFile(zipped_file, 'w', compression=zipfile.ZIP_DEFLATED) as f:
    f.write(keras_file)

  return os.path.getsize(zipped_file)

setup_model()
pretrained_weights = setup_pretrained_weights()

กำหนดรูปแบบ

พรุนทั้งรุ่น (ตามลำดับและหน้าที่)

เคล็ดลับเพื่อความแม่นยำของแบบจำลองที่ดีขึ้น:

• ลองใช้ "พรุนบางเลเยอร์" เพื่อข้ามการตัดแต่งเลเยอร์ที่ลดความแม่นยำมากที่สุด
• โดยทั่วไปแล้ว การปรับแต่งด้วยการตัดแต่งกิ่งจะดีกว่าการฝึกฝนตั้งแต่เริ่มต้น

เพื่อให้รถไฟรูปแบบทั้งที่มีการตัดแต่งกิ่งใช้ tfmot.sparsity.keras.prune_low_magnitude โมเดล

base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended.

model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)

model_for_pruning.summary()

WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_optimization/python/core/sparsity/keras/pruning_wrapper.py:200: Layer.add_variable (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version.
Instructions for updating:
Please use `layer.add_weight` method instead.
Model: "sequential_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_dense_2  (None, 20)                822       
_________________________________________________________________
prune_low_magnitude_flatten_ (None, 20)                1         
=================================================================
Total params: 823
Trainable params: 420
Non-trainable params: 403
_________________________________________________________________

พรุนบางชั้น (ตามลำดับและหน้าที่)

การตัดแต่งโมเดลอาจส่งผลเสียต่อความแม่นยำ คุณสามารถเลือกตัดเลเยอร์ของแบบจำลองเพื่อสำรวจความแตกต่างระหว่างความแม่นยำ ความเร็ว และขนาดของโมเดล

เคล็ดลับเพื่อความแม่นยำของแบบจำลองที่ดีขึ้น:

• โดยทั่วไปแล้ว การปรับแต่งด้วยการตัดแต่งกิ่งจะดีกว่าการฝึกฝนตั้งแต่เริ่มต้น
• ลองตัดแต่งกิ่งชั้นหลังๆ แทนชั้นแรก
• หลีกเลี่ยงการตัดแต่งกิ่งชั้นวิกฤต (เช่น กลไกการเอาใจใส่)

เพิ่มเติมได้ที่:

• tfmot.sparsity.keras.prune_low_magnitude เอกสาร API ให้รายละเอียดเกี่ยวกับวิธีการที่แตกต่างกันการกำหนดค่าการตัดแต่งกิ่งต่อชั้น

ในตัวอย่างด้านล่าง, ลูกพรุนเท่านั้นที่ Dense ชั้น

# Create a base model
base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended for model accuracy

# Helper function uses `prune_low_magnitude` to make only the 
# Dense layers train with pruning.
def apply_pruning_to_dense(layer):
  if isinstance(layer, tf.keras.layers.Dense):
    return tfmot.sparsity.keras.prune_low_magnitude(layer)
  return layer

# Use `tf.keras.models.clone_model` to apply `apply_pruning_to_dense` 
# to the layers of the model.
model_for_pruning = tf.keras.models.clone_model(
    base_model,
    clone_function=apply_pruning_to_dense,
)

model_for_pruning.summary()

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.
Model: "sequential_3"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_dense_3  (None, 20)                822       
_________________________________________________________________
flatten_3 (Flatten)          (None, 20)                0         
=================================================================
Total params: 822
Trainable params: 420
Non-trainable params: 402
_________________________________________________________________

ในขณะที่ตัวอย่างนี้ใช้ประเภทของชั้นที่จะตัดสินใจว่าจะตัดวิธีที่ง่ายที่สุดในการตัดชั้นโดยเฉพาะอย่างยิ่งคือการตั้งค่าของ name คุณสมบัติและมองหาชื่อที่ clone_function

print(base_model.layers[0].name)

dense_3

อ่านง่ายขึ้นแต่อาจลดความแม่นยำของแบบจำลองลง

วิธีนี้ใช้ไม่ได้กับการปรับแบบละเอียดและการตัดแต่งกิ่ง ซึ่งเป็นสาเหตุว่าทำไมจึงอาจแม่นยำน้อยกว่าตัวอย่างข้างต้นซึ่งรองรับการปรับแต่งแบบละเอียด

ในขณะที่ prune_low_magnitude สามารถนำมาใช้ในขณะที่การกำหนดรูปแบบการเริ่มต้นการโหลดน้ำหนักหลังจากที่ไม่ได้ทำงานในด้านล่างตัวอย่าง

ตัวอย่างการใช้งาน

# Use `prune_low_magnitude` to make the `Dense` layer train with pruning.
i = tf.keras.Input(shape=(20,))
x = tfmot.sparsity.keras.prune_low_magnitude(tf.keras.layers.Dense(10))(i)
o = tf.keras.layers.Flatten()(x)
model_for_pruning = tf.keras.Model(inputs=i, outputs=o)

model_for_pruning.summary()

Model: "functional_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         [(None, 20)]              0         
_________________________________________________________________
prune_low_magnitude_dense_4  (None, 10)                412       
_________________________________________________________________
flatten_4 (Flatten)          (None, 10)                0         
=================================================================
Total params: 412
Trainable params: 210
Non-trainable params: 202
_________________________________________________________________

ตัวอย่างตามลำดับ

# Use `prune_low_magnitude` to make the `Dense` layer train with pruning.
model_for_pruning = tf.keras.Sequential([
  tfmot.sparsity.keras.prune_low_magnitude(tf.keras.layers.Dense(20, input_shape=input_shape)),
  tf.keras.layers.Flatten()
])

model_for_pruning.summary()

Model: "sequential_4"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_dense_5  (None, 20)                822       
_________________________________________________________________
flatten_5 (Flatten)          (None, 20)                0         
=================================================================
Total params: 822
Trainable params: 420
Non-trainable params: 402
_________________________________________________________________

ตัดเลเยอร์ Keras ที่กำหนดเองหรือแก้ไขส่วนของเลเยอร์เพื่อตัด

ข้อผิดพลาดทั่วไป: การตัดแต่งกิ่งอคติมักจะเป็นอันตรายต่อความถูกต้องของรูปแบบมากเกินไป

tfmot.sparsity.keras.PrunableLayer ทำหน้าที่สองกรณีการใช้งาน:

1. ตัดเลเยอร์ Keras ที่กำหนดเอง
2. แก้ไขส่วนของเลเยอร์ Keras ในตัวเพื่อตัด

ตัวอย่างเช่นค่าเริ่มต้น API เพื่อการตัดแต่งกิ่งเพียงเคอร์เนลของ Dense ชั้น ตัวอย่างด้านล่างตัดอคติด้วย

class MyDenseLayer(tf.keras.layers.Dense, tfmot.sparsity.keras.PrunableLayer):

  def get_prunable_weights(self):
    # Prune bias also, though that usually harms model accuracy too much.
    return [self.kernel, self.bias]

# Use `prune_low_magnitude` to make the `MyDenseLayer` layer train with pruning.
model_for_pruning = tf.keras.Sequential([
  tfmot.sparsity.keras.prune_low_magnitude(MyDenseLayer(20, input_shape=input_shape)),
  tf.keras.layers.Flatten()
])

model_for_pruning.summary()

Model: "sequential_5"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_my_dense (None, 20)                843       
_________________________________________________________________
flatten_6 (Flatten)          (None, 20)                0         
=================================================================
Total params: 843
Trainable params: 420
Non-trainable params: 423
_________________________________________________________________

โมเดลรถไฟ

Model.fit

โทร tfmot.sparsity.keras.UpdatePruningStep โทรกลับในระหว่างการฝึก

เพื่อการฝึกอบรมความช่วยเหลือแก้ปัญหาใช้ tfmot.sparsity.keras.PruningSummaries โทรกลับ

# Define the model.
base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended for model accuracy
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)

log_dir = tempfile.mkdtemp()
callbacks = [
    tfmot.sparsity.keras.UpdatePruningStep(),
    # Log sparsity and other metrics in Tensorboard.
    tfmot.sparsity.keras.PruningSummaries(log_dir=log_dir)
]

model_for_pruning.compile(
      loss=tf.keras.losses.categorical_crossentropy,
      optimizer='adam',
      metrics=['accuracy']
)

model_for_pruning.fit(
    x_train,
    y_train,
    callbacks=callbacks,
    epochs=2,
)

%tensorboard --logdir={log_dir}

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.
Epoch 1/2
1/1 [==============================] - 0s 3ms/step - loss: 1.2485 - accuracy: 0.0000e+00
Epoch 2/2
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/summary_ops_v2.py:1277: stop (from tensorflow.python.eager.profiler) is deprecated and will be removed after 2020-07-01.
Instructions for updating:
use `tf.profiler.experimental.stop` instead.
1/1 [==============================] - 0s 2ms/step - loss: 1.1999 - accuracy: 0.0000e+00

สำหรับผู้ใช้ที่ไม่ใช่ Colab คุณสามารถดู ผลการทำงานที่ผ่านมา ของบล็อกรหัสนี้ใน TensorBoard.dev

วงการฝึกแบบกำหนดเอง

โทร tfmot.sparsity.keras.UpdatePruningStep โทรกลับในระหว่างการฝึก

เพื่อการฝึกอบรมความช่วยเหลือแก้ปัญหาใช้ tfmot.sparsity.keras.PruningSummaries โทรกลับ

# Define the model.
base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended for model accuracy
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)

# Boilerplate
loss = tf.keras.losses.categorical_crossentropy
optimizer = tf.keras.optimizers.Adam()
log_dir = tempfile.mkdtemp()
unused_arg = -1
epochs = 2
batches = 1 # example is hardcoded so that the number of batches cannot change.

# Non-boilerplate.
model_for_pruning.optimizer = optimizer
step_callback = tfmot.sparsity.keras.UpdatePruningStep()
step_callback.set_model(model_for_pruning)
log_callback = tfmot.sparsity.keras.PruningSummaries(log_dir=log_dir) # Log sparsity and other metrics in Tensorboard.
log_callback.set_model(model_for_pruning)

step_callback.on_train_begin() # run pruning callback
for _ in range(epochs):
  log_callback.on_epoch_begin(epoch=unused_arg) # run pruning callback
  for _ in range(batches):
    step_callback.on_train_batch_begin(batch=unused_arg) # run pruning callback

    with tf.GradientTape() as tape:
      logits = model_for_pruning(x_train, training=True)
      loss_value = loss(y_train, logits)
      grads = tape.gradient(loss_value, model_for_pruning.trainable_variables)
      optimizer.apply_gradients(zip(grads, model_for_pruning.trainable_variables))

  step_callback.on_epoch_end(batch=unused_arg) # run pruning callback

%tensorboard --logdir={log_dir}

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.

สำหรับผู้ใช้ที่ไม่ใช่ Colab คุณสามารถดู ผลการทำงานที่ผ่านมา ของบล็อกรหัสนี้ใน TensorBoard.dev

ปรับปรุงความแม่นยำของแบบจำลองที่ตัดแล้ว

ขั้นแรกให้ดูที่ tfmot.sparsity.keras.prune_low_magnitude เอกสาร API จะเข้าใจสิ่งที่ตารางเวลาการตัดแต่งกิ่งเป็นและคณิตศาสตร์ของแต่ละประเภทของตารางการตัดแต่งกิ่ง

เคล็ดลับ:

• มีอัตราการเรียนรู้ที่ไม่สูงหรือต่ำเกินไปเมื่อโมเดลกำลังตัดแต่งกิ่ง พิจารณา ตารางการตัดแต่งกิ่ง ที่จะ hyperparameter

• ขณะที่การทดสอบอย่างรวดเร็ว, ลองทดสอบด้วยการตัดแต่งกิ่งรุ่นไป sparsity สุดท้ายที่จุดเริ่มต้นของการฝึกอบรมโดยการตั้งค่า begin_step 0 กับ tfmot.sparsity.keras.ConstantSparsity กำหนดการ คุณอาจได้รับโชคดีกับผลลัพธ์ที่ดี

• อย่าตัดบ่อยมากเพื่อให้โมเดลมีเวลาฟื้นตัว ตารางเวลาการตัดแต่งกิ่ง ให้ความถี่เริ่มต้นที่ดี

• สำหรับแนวคิดทั่วไปในการปรับปรุงความแม่นยำของแบบจำลอง ให้ค้นหาเคล็ดลับสำหรับกรณีการใช้งานของคุณภายใต้ "กำหนดรูปแบบ"

ด่านและดีซีเรียลไลซ์

คุณต้องรักษาขั้นตอนของตัวเพิ่มประสิทธิภาพไว้ระหว่างจุดตรวจสอบ ซึ่งหมายความว่าในขณะที่คุณสามารถใช้โมเดล Keras HDF5 สำหรับจุดตรวจได้ คุณจะไม่สามารถใช้ตุ้มน้ำหนัก Keras HDF5 ได้

# Define the model.
base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended for model accuracy
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)

_, keras_model_file = tempfile.mkstemp('.h5')

# Checkpoint: saving the optimizer is necessary (include_optimizer=True is the default).
model_for_pruning.save(keras_model_file, include_optimizer=True)

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.

ข้างต้นใช้โดยทั่วไป โค้ดด้านล่างนี้จำเป็นสำหรับรูปแบบโมเดล HDF5 เท่านั้น (ไม่ใช่ตุ้มน้ำหนัก HDF5 และรูปแบบอื่นๆ)

# Deserialize model.
with tfmot.sparsity.keras.prune_scope():
  loaded_model = tf.keras.models.load_model(keras_model_file)

loaded_model.summary()

WARNING:tensorflow:No training configuration found in the save file, so the model was *not* compiled. Compile it manually.
Model: "sequential_8"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_dense_8  (None, 20)                822       
_________________________________________________________________
prune_low_magnitude_flatten_ (None, 20)                1         
=================================================================
Total params: 823
Trainable params: 420
Non-trainable params: 403
_________________________________________________________________

ปรับใช้โมเดลที่ตัดแต่งแล้ว

ส่งออกโมเดลด้วยการบีบอัดขนาด

ความผิดพลาดที่พบบ่อยทั้ง strip_pruning และใช้วิธีการบีบอัดมาตรฐาน (เช่นผ่าน gzip) มีความจำเป็นที่จะต้องเห็นประโยชน์ของการบีบอัดการตัดแต่งกิ่ง

# Define the model.
base_model = setup_model()
base_model.load_weights(pretrained_weights) # optional but recommended for model accuracy
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model)

# Typically you train the model here.

model_for_export = tfmot.sparsity.keras.strip_pruning(model_for_pruning)

print("final model")
model_for_export.summary()

print("\n")
print("Size of gzipped pruned model without stripping: %.2f bytes" % (get_gzipped_model_size(model_for_pruning)))
print("Size of gzipped pruned model with stripping: %.2f bytes" % (get_gzipped_model_size(model_for_export)))

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.
final model
Model: "sequential_9"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_9 (Dense)              (None, 20)                420       
_________________________________________________________________
flatten_10 (Flatten)         (None, 20)                0         
=================================================================
Total params: 420
Trainable params: 420
Non-trainable params: 0
_________________________________________________________________


Size of gzipped pruned model without stripping: 3299.00 bytes
Size of gzipped pruned model with stripping: 2876.00 bytes

การเพิ่มประสิทธิภาพเฉพาะฮาร์ดแวร์

เมื่อแบ็กเอนด์ที่แตกต่างกัน ช่วยให้การตัดแต่งกิ่งเพื่อปรับปรุงแฝง โดยใช้บล็อก sparsity สามารถปรับปรุงแฝงสำหรับฮาร์ดแวร์บางอย่าง

การเพิ่มขนาดบล็อกจะลดความกระจัดกระจายสูงสุดที่ทำได้สำหรับความแม่นยำของโมเดลเป้าหมาย อย่างไรก็ตาม เวลาแฝงยังสามารถปรับปรุงได้

สำหรับรายละเอียดเกี่ยวกับสิ่งที่ได้รับการสนับสนุนสำหรับ sparsity บล็อกดู tfmot.sparsity.keras.prune_low_magnitude เอกสาร API

base_model = setup_model()

# For using intrinsics on a CPU with 128-bit registers, together with 8-bit
# quantized weights, a 1x16 block size is nice because the block perfectly
# fits into the register.
pruning_params = {'block_size': [1, 16]}
model_for_pruning = tfmot.sparsity.keras.prune_low_magnitude(base_model, **pruning_params)

model_for_pruning.summary()

WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.iter
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_1
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.beta_2
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.decay
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer.learning_rate
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'm' for (root).layer_with_weights-0.bias
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.kernel
WARNING:tensorflow:Unresolved object in checkpoint: (root).optimizer's state 'v' for (root).layer_with_weights-0.bias
WARNING:tensorflow:A checkpoint was restored (e.g. tf.train.Checkpoint.restore or tf.keras.Model.load_weights) but not all checkpointed values were used. See above for specific issues. Use expect_partial() on the load status object, e.g. tf.train.Checkpoint.restore(...).expect_partial(), to silence these warnings, or use assert_consumed() to make the check explicit. See https://www.tensorflow.org/guide/checkpoint#loading_mechanics for details.
Model: "sequential_10"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
prune_low_magnitude_dense_10 (None, 20)                822       
_________________________________________________________________
prune_low_magnitude_flatten_ (None, 20)                1         
=================================================================
Total params: 823
Trainable params: 420
Non-trainable params: 403
_________________________________________________________________