 Voir sur TensorFlow.org |  Exécuter dans Google Colab |  Afficher la source sur GitHub |  Télécharger le cahier |
Aperçu
Bienvenue dans l'exemple de bout en bout de clustering de poids , qui fait partie du kit d'outils d'optimisation de modèle TensorFlow.
Autres pages
Pour une introduction à ce qu'est le clustering de poids et pour déterminer si vous devez l'utiliser (y compris ce qui est pris en charge), consultez la page de présentation.
Pour trouver rapidement les API dont vous avez besoin pour votre cas d'utilisation (au-delà du clustering complet d'un modèle avec 16 clusters), consultez le guide complet .
Contenu
Dans le didacticiel, vous allez:
- Entraînez un modèle
tf.keraspour l'ensemble de données MNIST à partir de zéro. - Affinez le modèle en appliquant l'API de clustering de pondération et voyez la précision.
- Créez des modèles TF et TFLite 6x plus petits à partir du clustering.
- Créez un modèle TFLite 8x plus petit en combinant le regroupement de poids et la quantification post-entraînement.
- Voir la persistance de la précision de TF à TFLite.
Installer
Vous pouvez exécuter ce Jupyter Notebook dans votre virtualenv ou colab local . Pour plus de détails sur la configuration des dépendances, veuillez consulter le guide d'installation .
pip install -q tensorflow-model-optimization
import tensorflow as tf
from tensorflow import keras
import numpy as np
import tempfile
import zipfile
import os
Former un modèle tf.keras pour MNIST sans clustering
# Load MNIST dataset
mnist = keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
# Normalize the input image so that each pixel value is between 0 to 1.
train_images = train_images / 255.0
test_images = test_images / 255.0
# Define the model architecture.
model = keras.Sequential([
keras.layers.InputLayer(input_shape=(28, 28)),
keras.layers.Reshape(target_shape=(28, 28, 1)),
keras.layers.Conv2D(filters=12, kernel_size=(3, 3), activation=tf.nn.relu),
keras.layers.MaxPooling2D(pool_size=(2, 2)),
keras.layers.Flatten(),
keras.layers.Dense(10)
])
# Train the digit classification model
model.compile(optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])
model.fit(
train_images,
train_labels,
validation_split=0.1,
epochs=10
)
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz 11493376/11490434 [==============================] - 0s 0us/step Epoch 1/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.3008 - accuracy: 0.9148 - val_loss: 0.1216 - val_accuracy: 0.9687 Epoch 2/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.1221 - accuracy: 0.9651 - val_loss: 0.0861 - val_accuracy: 0.9758 Epoch 3/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0897 - accuracy: 0.9741 - val_loss: 0.0710 - val_accuracy: 0.9802 Epoch 4/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0727 - accuracy: 0.9787 - val_loss: 0.0719 - val_accuracy: 0.9803 Epoch 5/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0631 - accuracy: 0.9808 - val_loss: 0.0657 - val_accuracy: 0.9822 Epoch 6/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0554 - accuracy: 0.9833 - val_loss: 0.0601 - val_accuracy: 0.9820 Epoch 7/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0489 - accuracy: 0.9855 - val_loss: 0.0647 - val_accuracy: 0.9805 Epoch 8/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0442 - accuracy: 0.9869 - val_loss: 0.0575 - val_accuracy: 0.9845 Epoch 9/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0403 - accuracy: 0.9875 - val_loss: 0.0596 - val_accuracy: 0.9820 Epoch 10/10 1688/1688 [==============================] - 7s 4ms/step - loss: 0.0362 - accuracy: 0.9888 - val_loss: 0.0588 - val_accuracy: 0.9833 <tensorflow.python.keras.callbacks.History at 0x7f0e6f780a58>
Évaluez le modèle de référence et enregistrez-le pour une utilisation ultérieure
_, baseline_model_accuracy = model.evaluate(
test_images, test_labels, verbose=0)
print('Baseline test accuracy:', baseline_model_accuracy)
_, keras_file = tempfile.mkstemp('.h5')
print('Saving model to: ', keras_file)
tf.keras.models.save_model(model, keras_file, include_optimizer=False)
Baseline test accuracy: 0.9785000085830688 Saving model to: /tmp/tmpjo5b6jen.h5
Ajustez le modèle pré-entraîné avec le clustering
Appliquez l'API cluster_weights() à tout un modèle pré-entraîné pour démontrer son efficacité à réduire la taille du modèle après l'application de zip tout en conservant une précision décente. Pour savoir comment équilibrer au mieux la précision et le taux de compression pour votre cas d'utilisation, veuillez vous reporter à l'exemple par couche dans le guide complet .
Définir le modèle et appliquer l'API de clustering
Avant de transmettre le modèle à l'API de clustering, assurez-vous qu'il est formé et montre une précision acceptable.
import tensorflow_model_optimization as tfmot
cluster_weights = tfmot.clustering.keras.cluster_weights
CentroidInitialization = tfmot.clustering.keras.CentroidInitialization
clustering_params = {
'number_of_clusters': 16,
'cluster_centroids_init': CentroidInitialization.LINEAR
}
# Cluster a whole model
clustered_model = cluster_weights(model, **clustering_params)
# Use smaller learning rate for fine-tuning clustered model
opt = tf.keras.optimizers.Adam(learning_rate=1e-5)
clustered_model.compile(
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=opt,
metrics=['accuracy'])
clustered_model.summary()
Model: "sequential" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= cluster_reshape (ClusterWeig (None, 28, 28, 1) 0 _________________________________________________________________ cluster_conv2d (ClusterWeigh (None, 26, 26, 12) 136 _________________________________________________________________ cluster_max_pooling2d (Clust (None, 13, 13, 12) 0 _________________________________________________________________ cluster_flatten (ClusterWeig (None, 2028) 0 _________________________________________________________________ cluster_dense (ClusterWeight (None, 10) 20306 ================================================================= Total params: 20,442 Trainable params: 54 Non-trainable params: 20,388 _________________________________________________________________
Affinez le modèle et évaluez la précision par rapport à la ligne de base
Affinez le modèle avec le regroupement pour 1 époque.
# Fine-tune model
clustered_model.fit(
train_images,
train_labels,
batch_size=500,
epochs=1,
validation_split=0.1)
108/108 [==============================] - 2s 16ms/step - loss: 0.0453 - accuracy: 0.9851 - val_loss: 0.0699 - val_accuracy: 0.9802 <tensorflow.python.keras.callbacks.History at 0x7f0e543ffeb8>
Pour cet exemple, il y a une perte minimale de précision du test après la mise en cluster, par rapport à la ligne de base.
_, clustered_model_accuracy = clustered_model.evaluate(
test_images, test_labels, verbose=0)
print('Baseline test accuracy:', baseline_model_accuracy)
print('Clustered test accuracy:', clustered_model_accuracy)
Baseline test accuracy: 0.9785000085830688 Clustered test accuracy: 0.9746000170707703
Créez des modèles 6x plus petits à partir du clustering
Le strip_clustering et l'application d'un algorithme de compression standard (par exemple via gzip) sont nécessaires pour voir les avantages de compression du clustering.
Commencez par créer un modèle compressible pour TensorFlow. Ici, strip_clustering supprime toutes les variables (par exemple, tf.Variable pour stocker les centroïdes de cluster et les indices) dont le clustering n'a besoin que pendant l'entraînement, ce qui autrement augmenterait la taille du modèle lors de l'inférence.
final_model = tfmot.clustering.keras.strip_clustering(clustered_model)
_, clustered_keras_file = tempfile.mkstemp('.h5')
print('Saving clustered model to: ', clustered_keras_file)
tf.keras.models.save_model(final_model, clustered_keras_file,
include_optimizer=False)
Saving clustered model to: /tmp/tmpo83fpb0m.h5
Ensuite, créez des modèles compressibles pour TFLite. Vous pouvez convertir le modèle en cluster dans un format exécutable sur votre backend ciblé. TensorFlow Lite est un exemple que vous pouvez utiliser pour déployer sur des appareils mobiles.
clustered_tflite_file = '/tmp/clustered_mnist.tflite'
converter = tf.lite.TFLiteConverter.from_keras_model(final_model)
tflite_clustered_model = converter.convert()
with open(clustered_tflite_file, 'wb') as f:
f.write(tflite_clustered_model)
print('Saved clustered TFLite model to:', clustered_tflite_file)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Layer.updates (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version. Instructions for updating: This property should not be used in TensorFlow 2.0, as updates are applied automatically. INFO:tensorflow:Assets written to: /tmp/tmp4gcxcvlh/assets Saved clustered TFLite model to: /tmp/clustered_mnist.tflite
Définissez une fonction d'assistance pour compresser réellement les modèles via gzip et mesurer la taille zippée.
def get_gzipped_model_size(file):
# It returns the size of the gzipped model in bytes.
import os
import zipfile
_, zipped_file = tempfile.mkstemp('.zip')
with zipfile.ZipFile(zipped_file, 'w', compression=zipfile.ZIP_DEFLATED) as f:
f.write(file)
return os.path.getsize(zipped_file)
Comparez et voyez que les modèles sont 6 fois plus petits à partir du clustering
print("Size of gzipped baseline Keras model: %.2f bytes" % (get_gzipped_model_size(keras_file)))
print("Size of gzipped clustered Keras model: %.2f bytes" % (get_gzipped_model_size(clustered_keras_file)))
print("Size of gzipped clustered TFlite model: %.2f bytes" % (get_gzipped_model_size(clustered_tflite_file)))
Size of gzipped baseline Keras model: 78047.00 bytes Size of gzipped clustered Keras model: 12524.00 bytes Size of gzipped clustered TFlite model: 12141.00 bytes
Créez un modèle TFLite 8x plus petit en combinant le regroupement de poids et la quantification post-entraînement
Vous pouvez appliquer la quantification post-formation au modèle en cluster pour des avantages supplémentaires.
converter = tf.lite.TFLiteConverter.from_keras_model(final_model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()
_, quantized_and_clustered_tflite_file = tempfile.mkstemp('.tflite')
with open(quantized_and_clustered_tflite_file, 'wb') as f:
f.write(tflite_quant_model)
print('Saved quantized and clustered TFLite model to:', quantized_and_clustered_tflite_file)
print("Size of gzipped baseline Keras model: %.2f bytes" % (get_gzipped_model_size(keras_file)))
print("Size of gzipped clustered and quantized TFlite model: %.2f bytes" % (get_gzipped_model_size(quantized_and_clustered_tflite_file)))
INFO:tensorflow:Assets written to: /tmp/tmpt2flzp4s/assets INFO:tensorflow:Assets written to: /tmp/tmpt2flzp4s/assets Saved quantized and clustered TFLite model to: /tmp/tmpgu3loy72.tflite Size of gzipped baseline Keras model: 78047.00 bytes Size of gzipped clustered and quantized TFlite model: 9240.00 bytes
Voir la persistance de la précision de TF à TFLite
Définissez une fonction d'assistance pour évaluer le modèle TFLite sur l'ensemble de données de test.
def eval_model(interpreter):
input_index = interpreter.get_input_details()[0]["index"]
output_index = interpreter.get_output_details()[0]["index"]
# Run predictions on every image in the "test" dataset.
prediction_digits = []
for i, test_image in enumerate(test_images):
if i % 1000 == 0:
print('Evaluated on {n} results so far.'.format(n=i))
# Pre-processing: add batch dimension and convert to float32 to match with
# the model's input data format.
test_image = np.expand_dims(test_image, axis=0).astype(np.float32)
interpreter.set_tensor(input_index, test_image)
# Run inference.
interpreter.invoke()
# Post-processing: remove batch dimension and find the digit with highest
# probability.
output = interpreter.tensor(output_index)
digit = np.argmax(output()[0])
prediction_digits.append(digit)
print('\n')
# Compare prediction results with ground truth labels to calculate accuracy.
prediction_digits = np.array(prediction_digits)
accuracy = (prediction_digits == test_labels).mean()
return accuracy
Vous évaluez le modèle, qui a été mis en cluster et quantifié, puis voyez la précision de TensorFlow persiste sur le backend TFLite.
interpreter = tf.lite.Interpreter(model_content=tflite_quant_model)
interpreter.allocate_tensors()
test_accuracy = eval_model(interpreter)
print('Clustered and quantized TFLite test_accuracy:', test_accuracy)
print('Clustered TF test accuracy:', clustered_model_accuracy)
Evaluated on 0 results so far. Evaluated on 1000 results so far. Evaluated on 2000 results so far. Evaluated on 3000 results so far. Evaluated on 4000 results so far. Evaluated on 5000 results so far. Evaluated on 6000 results so far. Evaluated on 7000 results so far. Evaluated on 8000 results so far. Evaluated on 9000 results so far. Clustered and quantized TFLite test_accuracy: 0.9746 Clustered TF test accuracy: 0.9746000170707703
Conclusion
Dans ce didacticiel, vous avez vu comment créer des modèles en cluster avec l'API TensorFlow Model Optimization Toolkit. Plus précisément, vous avez parcouru un exemple de bout en bout pour créer un modèle 8x plus petit pour MNIST avec une différence de précision minimale. Nous vous encourageons à essayer cette nouvelle fonctionnalité, qui peut être particulièrement importante pour le déploiement dans des environnements à ressources limitées.