Cette page a été traduite par l'API Cloud Translation.

Convertir des modèles TensorFlow

Cette page décrit comment convertir un modèle TensorFlow en modèle TensorFlow Lite (un format FlatBuffer optimisé identifié par l'extension de fichier .tflite ) à l'aide du convertisseur TensorFlow Lite.

Processus de conversion

Le diagramme ci-dessous illustre le flux de travail de haut niveau pour convertir votre modèle :

Flux de travail du convertisseur TFLite

Figure 1. Flux de travail du convertisseur.

Vous pouvez convertir votre modèle en utilisant l'une des options suivantes :

API Python ( recommandé ) : Cela vous permet d'intégrer la conversion dans votre pipeline de développement, d'appliquer des optimisations, d'ajouter des métadonnées et de nombreuses autres tâches qui simplifient le processus de conversion.
Ligne de commande : Cela ne prend en charge que la conversion de modèle de base.

API Python

Code d'assistance : pour en savoir plus sur l'API du convertisseur TensorFlow Lite, exécutez print(help(tf.lite.TFLiteConverter)) .

Convertissez un modèle TensorFlow à l'aide tf.lite.TFLiteConverter . Un modèle TensorFlow est stocké au format SavedModel et est généré soit à l'aide des API tf.keras.* de haut niveau (un modèle Keras), soit des API tf.* de bas niveau (à partir desquelles vous générez des fonctions concrètes). En conséquence, vous avez les trois options suivantes (des exemples sont dans les prochaines sections) :

tf.lite.TFLiteConverter.from_saved_model() ( recommandé ): Convertit un SavedModel .
tf.lite.TFLiteConverter.from_keras_model() : Convertit un modèle Keras .
tf.lite.TFLiteConverter.from_concrete_functions() : Convertit les fonctions concrètes .

Convertir un SavedModel (recommandé)

L'exemple suivant montre comment convertir un SavedModel en un modèle TensorFlow Lite.

import tensorflow as tf

# Convert the model
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir) # path to the SavedModel directory
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

Convertir un modèle Keras

L'exemple suivant montre comment convertir un modèle Keras en modèle TensorFlow Lite.

import tensorflow as tf

# Create a model using high-level tf.keras.* APIs
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(units=1, input_shape=[1]),
    tf.keras.layers.Dense(units=16, activation='relu'),
    tf.keras.layers.Dense(units=1)
])
model.compile(optimizer='sgd', loss='mean_squared_error') # compile the model
model.fit(x=[-1, 0, 1], y=[-3, -1, 1], epochs=5) # train the model
# (to generate a SavedModel) tf.saved_model.save(model, "saved_model_keras_dir")

# Convert the model.
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

Convertir des fonctions concrètes

L'exemple suivant montre comment convertir des fonctions concrètes en un modèle TensorFlow Lite.

import tensorflow as tf

# Create a model using low-level tf.* APIs
class Squared(tf.Module):
  @tf.function(input_signature=[tf.TensorSpec(shape=[None], dtype=tf.float32)])
  def __call__(self, x):
    return tf.square(x)
model = Squared()
# (ro run your model) result = Squared(5.0) # This prints "25.0"
# (to generate a SavedModel) tf.saved_model.save(model, "saved_model_tf_dir")
concrete_func = model.__call__.get_concrete_function()

# Convert the model.

converter = tf.lite.TFLiteConverter.from_concrete_functions([concrete_func],
                                                            model)
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

Autres caractéristiques

Appliquer les optimisations . Une optimisation couramment utilisée est la quantification post-formation , qui peut réduire davantage la latence et la taille de votre modèle avec une perte de précision minimale.
Ajoutez des métadonnées , ce qui facilite la création de code wrapper spécifique à la plate-forme lors du déploiement de modèles sur des appareils.

Erreurs de conversion

Voici les erreurs de conversion courantes et leurs solutions :

Erreur : Some ops are not supported by the native TFLite runtime, you can enable TF kernels fallback using TF Select. See instructions: <a href="https://www.tensorflow.org/lite/guide/ops_select">https://www.tensorflow.org/lite/guide/ops_select</a> TF Select ops: ..., .., ...
Solution : l'erreur se produit car votre modèle comporte des opérations TF qui n'ont pas d'implémentation TFLite correspondante. Vous pouvez résoudre ce problème en utilisant l'op TF dans le modèle TFLite (recommandé). Si vous souhaitez générer un modèle avec des ops TFLite uniquement, vous pouvez soit ajouter une demande pour l'op TFLite manquant dans le numéro Github #21526 (laisser un commentaire si votre demande n'a pas déjà été mentionnée) ou créer l'op TFLite vous-même.
Erreur : .. is neither a custom op nor a flex op
Solution : Si cette opération TF est :
- Pris en charge dans TF : l'erreur se produit car l'opération TF est absente de la liste d' autorisation (une liste exhaustive des opérations TF prises en charge par TFLite). Vous pouvez résoudre ce problème comme suit :
  1. Ajoutez les opérations manquantes à la liste d'autorisation .
  2. Convertissez le modèle TF en modèle TFLite et exécutez l'inférence .
- Non pris en charge dans TF : l'erreur se produit car TFLite ne connaît pas l'opérateur TF personnalisé que vous avez défini. Vous pouvez résoudre ce problème comme suit :
  1. Créez l'op TF .
  2. Convertissez le modèle TF en modèle TFLite .
  3. Créez l'opération TFLite et exécutez l'inférence en la liant à l'environnement d'exécution TFLite.

Outil de ligne de commande

Si vous avez installé TensorFlow 2.x à partir de pip , utilisez la commande tflite_convert . Pour afficher tous les indicateurs disponibles, utilisez la commande suivante :

$ tflite_convert --help

`--output_file`. Type: string. Full path of the output file.
`--saved_model_dir`. Type: string. Full path to the SavedModel directory.
`--keras_model_file`. Type: string. Full path to the Keras H5 model file.
`--enable_v1_converter`. Type: bool. (default False) Enables the converter and flags used in TF 1.x instead of TF 2.x.

You are required to provide the `--output_file` flag and either the `--saved_model_dir` or `--keras_model_file` flag.

Si vous avez téléchargé la source TensorFlow 2.x et que vous souhaitez exécuter le convertisseur à partir de cette source sans créer ni installer le package, vous pouvez remplacer « tflite_convert » par « bazel run tensorflow/lite/python:tflite_convert -- » dans la commande.

Conversion d'un modèle enregistré

tflite_convert \
  --saved_model_dir=/tmp/mobilenet_saved_model \
  --output_file=/tmp/mobilenet.tflite

Conversion d'un modèle Keras H5

tflite_convert \
  --keras_model_file=/tmp/mobilenet_keras_model.h5 \
  --output_file=/tmp/mobilenet.tflite

Prochaines étapes

Utilisez l' interpréteur TensorFlow Lite pour exécuter l'inférence sur un appareil client (par exemple, mobile, intégré).