このページは Cloud Translation API によって翻訳されました。
Switch to English

SavedModel形式の使用

TensorFlow.orgで見る Google Colabで実行 GitHubでソースを表示する ノートブックをダウンロード

SavedModelには、重みと計算を含む完全なTensorFlowプログラムが含まれています。元のモデル構築コードを実行する必要がないため、共有またはデプロイに役立ちます( TFLiteTensorFlow.jsTensorFlow Serving 、またはTensorFlow Hubを使用 )。

このドキュメントでは、低レベルのtf.saved_model apiの使用方法の詳細をいくつかtf.saved_modelます。

KerasからのSavedModelの作成

簡単に紹介するために、このセクションでは事前トレーニング済みのKerasモデルをエクスポートし、それを使用して画像分類リクエストを処理します。ガイドの残りの部分では、詳細を記入し、SavedModelsを作成する他の方法について説明します。

 import os
import tempfile

from matplotlib import pyplot as plt
import numpy as np
import tensorflow as tf

tmpdir = tempfile.mkdtemp()
 
 physical_devices = tf.config.experimental.list_physical_devices('GPU')
if physical_devices:
  tf.config.experimental.set_memory_growth(physical_devices[0], True)
 
 file = tf.keras.utils.get_file(
    "grace_hopper.jpg",
    "https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg")
img = tf.keras.preprocessing.image.load_img(file, target_size=[224, 224])
plt.imshow(img)
plt.axis('off')
x = tf.keras.preprocessing.image.img_to_array(img)
x = tf.keras.applications.mobilenet.preprocess_input(
    x[tf.newaxis,...])
 
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg
65536/61306 [================================] - 0s 0us/step

png

実行例としてGrace Hopperの画像を使用します。また、Kerasはトレーニング済みの画像分類モデルを使用します。カスタムモデルも機能し、詳細については後で説明します。

 labels_path = tf.keras.utils.get_file(
    'ImageNetLabels.txt',
    'https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt')
imagenet_labels = np.array(open(labels_path).read().splitlines())
 
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt
16384/10484 [==============================================] - 0s 0us/step

 pretrained_model = tf.keras.applications.MobileNet()
result_before_save = pretrained_model(x)

decoded = imagenet_labels[np.argsort(result_before_save)[0,::-1][:5]+1]

print("Result before saving:\n", decoded)
 
Downloading data from https://storage.googleapis.com/tensorflow/keras-applications/mobilenet/mobilenet_1_0_224_tf.h5
17227776/17225924 [==============================] - 1s 0us/step
Result before saving:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

この画像の最大の予測は「軍服」です。

 mobilenet_save_path = os.path.join(tmpdir, "mobilenet/1/")
tf.saved_model.save(pretrained_model, mobilenet_save_path)
 
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1817: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/mobilenet/1/assets

保存パスは、TensorFlow Servingで使用される規則に従います。ここで、最後のパスコンポーネント(ここでは1/ )はモデルのバージョン番号です。これにより、Tensorflow Servingなどのツールが相対的な鮮度を判断できます。

SavedModelをtf.saved_model.loadを使用してPythonにtf.saved_model.loadロードし、提督ホッパーの画像がどのように分類されるかを確認できます。

 loaded = tf.saved_model.load(mobilenet_save_path)
print(list(loaded.signatures.keys()))  # ["serving_default"]
 
['serving_default']

インポートされた署名は常に辞書を返します。シグニチャー名と出力ディクショナリー・キーをカスタマイズするには、 エクスポート中のシグニチャーの指定を参照してください。

 infer = loaded.signatures["serving_default"]
print(infer.structured_outputs)
 
{'predictions': TensorSpec(shape=(None, 1000), dtype=tf.float32, name='predictions')}

SavedModelから推論を実行すると、元のモデルと同じ結果が得られます。

 labeling = infer(tf.constant(x))[pretrained_model.output_names[0]]

decoded = imagenet_labels[np.argsort(labeling)[0,::-1][:5]+1]

print("Result after saving and loading:\n", decoded)
 
Result after saving and loading:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

TensorFlow ServingでSavedModelを実行する

SavedModelsはPythonから使用できますが(詳細については以下を参照)、本番環境では通常、Pythonコードを実行せずに専用のサービスを使用して推論を行います。これは、TensorFlow Servingを使用してSavedModelから簡単に設定できます。

ノートブックまたはローカルマシンにtensorflow_model_serverをインストールする手順を含む、 サービングの詳細については、 TensorFlow Serving RESTチュートリアルをご覧ください。簡単なスケッチとして、上でエクスポートされたmobilenetモデルを提供するには、モデルサーバーをSavedModelディレクトリにポイントするだけです。

 nohup tensorflow_model_server \
  --rest_api_port=8501 \
  --model_name=mobilenet \
  --model_base_path="/tmp/mobilenet" >server.log 2>&1
 

次にリクエストを送信します。

 !pip install -q requests
import json
import numpy
import requests
data = json.dumps({"signature_name": "serving_default",
                   "instances": x.tolist()})
headers = {"content-type": "application/json"}
json_response = requests.post('http://localhost:8501/v1/models/mobilenet:predict',
                              data=data, headers=headers)
predictions = numpy.array(json.loads(json_response.text)["predictions"])
 

結果のpredictionsは、Pythonの結果と同じです。

ディスク上のSavedModel形式

SavedModelは、シリアル化された署名とそれらを実行するために必要な状態(変数値や語彙など)を含むディレクトリです。

ls {mobilenet_save_path}
assets  saved_model.pb  variables

saved_model.pbファイルには、実際のTensorFlowプログラムまたはモデル、および名前付きシグネチャのセットが格納され、それぞれがテンソル入力を受け入れてテンソル出力を生成する関数を識別します。

SavedModelsは、(複数のモデルの複数の変異体を含んでいてもよいv1.MetaGraphDefsで識別、 --tag_setにフラグsaved_model_cli )が、これは稀です。モデルの複数のバリアントを作成するAPIには、 tf.Estimator.experimental_export_all_saved_modelsとTensorFlow 1.xのtf.saved_model.Builderます。

saved_model_cli show --dir {mobilenet_save_path} --tag_set serve
The given SavedModel MetaGraphDef contains SignatureDefs with the following keys:
SignatureDef key: "__saved_model_init_op"
SignatureDef key: "serving_default"

variablesディレクトリには、標準のトレーニングチェックポイントが含まれています(トレーニングチェックポイントのガイドをご覧ください)。

ls {mobilenet_save_path}/variables
variables.data-00000-of-00002  variables.data-00001-of-00002  variables.index

assetsディレクトリには、TensorFlowグラフで使用されるファイルが含まれています。たとえば、語彙テーブルの初期化に使用されるテキストファイルなどです。この例では未使用です。

SavedModelには、TensorFlowグラフで使用されていないファイル用のassets.extraディレクトリが含まれる場合があります。 TensorFlow自体はこのディレクトリを使用しません。

カスタムモデルの保存

tf.saved_model.saveは、 tf.keras.Layertf.keras.Modelなどのtf.Moduleオブジェクトとそのサブクラスの保存をtf.Moduleます。

tf.Module保存と復元の例を見てみましょう。

 class CustomModule(tf.Module):

  def __init__(self):
    super(CustomModule, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function
  def __call__(self, x):
    print('Tracing with', x)
    return x * self.v

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def mutate(self, new_v):
    self.v.assign(new_v)

module = CustomModule()
 

tf.Moduleを保存すると、 tf.Variable属性、 tf.function -decoratedメソッド、および再帰的トラバーサルで見つかったtf.Moduleが保存されます。 (この再帰的走査の詳細については、 チェックポイントのチュートリアルを参照してください。)ただし、Pythonの属性、関数、およびデータはすべて失われます。つまり、 tf.functionを保存しても、Pythonコードは保存されません。

Pythonコードが保存されていない場合、SavedModelは関数を復元する方法をどのようにして知るのですか?

簡単に言うと、 tf.functionは、PythonコードをトレースしてConcreteFunction( tf.Graph呼び出し可能なラッパー)を生成することによって機能します。 tf.function保存するtf.function 、実際にはtf.functionのキャッシュが保存されます。

tf.functionとConcreteFunctionsの関係の詳細については、 tf.functionガイドを参照してください

 module_no_signatures_path = os.path.join(tmpdir, 'module_no_signatures')
module(tf.constant(0.))
print('Saving model...')
tf.saved_model.save(module, module_no_signatures_path)
 
Tracing with Tensor("x:0", shape=(), dtype=float32)
Saving model...
Tracing with Tensor("x:0", shape=(), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_no_signatures/assets

カスタムモデルの読み込みと使用

PythonでSavedModelをロードすると、すべてのtf.Variable属性、 tf.function -decoratedメソッド、およびtf.Moduleが、元の保存されたtf.Moduleと同じオブジェクト構造に復元されます。

 imported = tf.saved_model.load(module_no_signatures_path)
assert imported(tf.constant(3.)).numpy() == 3
imported.mutate(tf.constant(2.))
assert imported(tf.constant(3.)).numpy() == 6
 

Pythonコードが保存されていないため、新しい入力シグネチャでtf.functionを呼び出すと失敗します。

 imported(tf.constant([3.]))
 
ValueError: Could not find matching function to call for canonicalized inputs ((,), {}). Only existing signatures are [((TensorSpec(shape=(), dtype=tf.float32, name=u'x'),), {})].

基本的な微調整

変数オブジェクトが利用可能で、インポートされた関数を介してバックプロップできます。単純なケースでSavedModelを微調整(つまり、再トレーニング)するには、これで十分です。

 optimizer = tf.optimizers.SGD(0.05)

def train_step():
  with tf.GradientTape() as tape:
    loss = (10. - imported(tf.constant(2.))) ** 2
  variables = tape.watched_variables()
  grads = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(grads, variables))
  return loss
 
 for _ in range(10):
  # "v" approaches 5, "loss" approaches 0
  print("loss={:.2f} v={:.2f}".format(train_step(), imported.v.numpy()))
 
loss=36.00 v=3.20
loss=12.96 v=3.92
loss=4.67 v=4.35
loss=1.68 v=4.61
loss=0.60 v=4.77
loss=0.22 v=4.86
loss=0.08 v=4.92
loss=0.03 v=4.95
loss=0.01 v=4.97
loss=0.00 v=4.98

一般的な微調整

KerasのSavedModelは、単純な__call__ より詳細な情報を提供し 、より高度な微調整のケースに対処します。 TensorFlow Hubは、必要に応じて、微調整の目的で共有されるSavedModelsに次の項目を提供することをお勧めします。

  • モデルがドロップアウトまたはフォワードパスがトレーニングと推論で異なる別の手法(バッチ正規化など)を使用している場合、 __call__メソッドはオプションのPython値のtraining=引数を受け取ります。デフォルトはFalseが、 Trueに設定できます。
  • 次へ__call__属性がある.variable.trainable_variable変数の対応リストを持つ属性が。元はトレーニング可能でしたが、微調整中にフリーズすることを目的とした変数は、 .trainable_variablesから省略されてい.trainable_variables
  • レイヤーまたはサブモデルの属性としてウェイト.regularization_lossesようなフレームワークのために、 .regularization_losses属性も使用できます。これは、値が総損失に追加することを目的とした引数なしの関数のリストを保持します。

最初のMobileNetの例に戻ると、それらのいくつかが動作していることがわかります。

 loaded = tf.saved_model.load(mobilenet_save_path)
print("MobileNet has {} trainable variables: {}, ...".format(
          len(loaded.trainable_variables),
          ", ".join([v.name for v in loaded.trainable_variables[:5]])))
 
MobileNet has 83 trainable variables: conv1/kernel:0, conv1_bn/gamma:0, conv1_bn/beta:0, conv_dw_1/depthwise_kernel:0, conv_dw_1_bn/gamma:0, ...

 trainable_variable_ids = {id(v) for v in loaded.trainable_variables}
non_trainable_variables = [v for v in loaded.variables
                           if id(v) not in trainable_variable_ids]
print("MobileNet also has {} non-trainable variables: {}, ...".format(
          len(non_trainable_variables),
          ", ".join([v.name for v in non_trainable_variables[:3]])))
 
MobileNet also has 54 non-trainable variables: conv1_bn/moving_mean:0, conv1_bn/moving_variance:0, conv_dw_1_bn/moving_mean:0, ...

エクスポート中の署名の指定

TensorFlow Servingやsaved_model_cliなどのツールは、SavedModelsとsaved_model_cliできます。これらのツールが使用するConcreteFunctionsを決定するのを助けるために、サービス署名を指定する必要があります。 tf.keras.Model自動的にサービス署名を指定しますが、カスタムモジュールのサービス署名を明示的に宣言する必要があります。

デフォルトでは、カスタムtf.Moduleで署名は宣言されていtf.Module

 assert len(imported.signatures) == 0
 

提供署名を宣言するには、 signatures kwargを使用してConcreteFunctionを指定します。単一の署名を指定する場合、その署名キーは'serving_default'になり、定数tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEYとして保存されます。

 module_with_signature_path = os.path.join(tmpdir, 'module_with_signature')
call = module.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
tf.saved_model.save(module, module_with_signature_path, signatures=call)
 
Tracing with Tensor("x:0", dtype=float32)
Tracing with Tensor("x:0", dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_signature/assets

 imported_with_signatures = tf.saved_model.load(module_with_signature_path)
list(imported_with_signatures.signatures.keys())

 
['serving_default']

複数の署名をエクスポートするには、署名キーの辞書をConcreteFunctionsに渡します。各署名キーは1つのConcreteFunctionに対応します。

 module_multiple_signatures_path = os.path.join(tmpdir, 'module_with_multiple_signatures')
signatures = {"serving_default": call,
              "array_input": module.__call__.get_concrete_function(tf.TensorSpec([None], tf.float32))}

tf.saved_model.save(module, module_multiple_signatures_path, signatures=signatures)
 
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_multiple_signatures/assets

 imported_with_multiple_signatures = tf.saved_model.load(module_multiple_signatures_path)
list(imported_with_multiple_signatures.signatures.keys())
 
['serving_default', 'array_input']

デフォルトでは、出力テンソル名はoutput_0ようにかなり一般的output_0 。出力の名前を制御するには、 tf.functionを変更して、出力名を出力にマップする辞書を返します。入力の名前は、Python関数の引数名から派生します。

 class CustomModuleWithOutputName(tf.Module):
  def __init__(self):
    super(CustomModuleWithOutputName, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def __call__(self, x):
    return {'custom_output_name': x * self.v}

module_output = CustomModuleWithOutputName()
call_output = module_output.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
module_output_path = os.path.join(tmpdir, 'module_with_output_name')
tf.saved_model.save(module_output, module_output_path,
                    signatures={'serving_default': call_output})
 
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_output_name/assets

 imported_with_output_name = tf.saved_model.load(module_output_path)
imported_with_output_name.signatures['serving_default'].structured_outputs
 
{'custom_output_name': TensorSpec(shape=(), dtype=tf.float32, name='custom_output_name')}

推定器からのSavedModels

推定器は、tf.Estimator.export_saved_modelを介してtf.Estimator.export_saved_modelエクスポートしtf.Estimator.export_saved_model 。詳細については、Estimatorガイドを参照してください。

 input_column = tf.feature_column.numeric_column("x")
estimator = tf.estimator.LinearClassifier(feature_columns=[input_column])

def input_fn():
  return tf.data.Dataset.from_tensor_slices(
    ({"x": [1., 2., 3., 4.]}, [1, 1, 0, 0])).repeat(200).shuffle(64).batch(16)
estimator.train(input_fn)

serving_input_fn = tf.estimator.export.build_parsing_serving_input_receiver_fn(
  tf.feature_column.make_parse_example_spec([input_column]))
estimator_base_path = os.path.join(tmpdir, 'from_estimator')
estimator_path = estimator.export_saved_model(estimator_base_path, serving_input_fn)
 
INFO:tensorflow:Using default config.
WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmp65c02lsq
INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp65c02lsq', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/feature_column/feature_column_v2.py:540: Layer.add_variable (from tensorflow.python.keras.engine.base_layer_v1) is deprecated and will be removed in a future version.
Instructions for updating:
Please use `layer.add_weight` method instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/ftrl.py:144: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp65c02lsq/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:loss = 0.6931472, step = 0
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 50...
INFO:tensorflow:Saving checkpoints for 50 into /tmp/tmp65c02lsq/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 50...
INFO:tensorflow:Loss for final step: 0.4131384.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Done calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/saved_model/signature_def_utils_impl.py:145: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info.
INFO:tensorflow:Signatures INCLUDED in export for Classify: ['serving_default', 'classification']
INFO:tensorflow:Signatures INCLUDED in export for Regress: ['regression']
INFO:tensorflow:Signatures INCLUDED in export for Predict: ['predict']
INFO:tensorflow:Signatures INCLUDED in export for Train: None
INFO:tensorflow:Signatures INCLUDED in export for Eval: None
INFO:tensorflow:Restoring parameters from /tmp/tmp65c02lsq/model.ckpt-50
INFO:tensorflow:Assets added to graph.
INFO:tensorflow:No assets to write.
INFO:tensorflow:SavedModel written to: /tmp/tmpmjpd1j0o/from_estimator/temp-1594862628/saved_model.pb

このSavedModelは、提供に役立つシリアル化されたtf.Exampleプロトコルバッファーを受け入れます。しかし、これをtf.saved_model.loadロードして、Pythonから実行することもできます。

 imported = tf.saved_model.load(estimator_path)

def predict(x):
  example = tf.train.Example()
  example.features.feature["x"].float_list.value.extend([x])
  return imported.signatures["predict"](
    examples=tf.constant([example.SerializeToString()]))
 
 print(predict(1.5))
print(predict(3.5))
 
{'all_classes': <tf.Tensor: shape=(1, 2), dtype=string, numpy=array([[b'0', b'1']], dtype=object)>, 'logistic': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.5451435]], dtype=float32)>, 'probabilities': <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0.45485654, 0.5451435 ]], dtype=float32)>, 'logits': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.18106687]], dtype=float32)>, 'class_ids': <tf.Tensor: shape=(1, 1), dtype=int64, numpy=array([[1]])>, 'classes': <tf.Tensor: shape=(1, 1), dtype=string, numpy=array([[b'1']], dtype=object)>, 'all_class_ids': <tf.Tensor: shape=(1, 2), dtype=int32, numpy=array([[0, 1]], dtype=int32)>}
{'all_classes': <tf.Tensor: shape=(1, 2), dtype=string, numpy=array([[b'0', b'1']], dtype=object)>, 'logistic': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.21604054]], dtype=float32)>, 'probabilities': <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0.7839595 , 0.21604055]], dtype=float32)>, 'logits': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[-1.2888912]], dtype=float32)>, 'class_ids': <tf.Tensor: shape=(1, 1), dtype=int64, numpy=array([[0]])>, 'classes': <tf.Tensor: shape=(1, 1), dtype=string, numpy=array([[b'0']], dtype=object)>, 'all_class_ids': <tf.Tensor: shape=(1, 2), dtype=int32, numpy=array([[0, 1]], dtype=int32)>}

tf.estimator.export.build_raw_serving_input_receiver_fn使用すると、 tf.train.Exampleではなく、生テンソルを取る入力関数を作成できます。

C ++でSavedModelをロードする

SavedModel ローダーのC ++バージョンは、SessionOptionsおよびRunOptionsを許可しながら、パスからSavedModelをロードするAPIを提供します。ロードするグラフに関連付けられたタグを指定する必要があります。 SavedModelのロードされたバージョンはSavedModelBundleと呼ばれ、MetaGraphDefとそれがロードされたセッションが含まれます。

 const string export_dir = ...
SavedModelBundle bundle;
...
LoadSavedModel(session_options, run_options, export_dir, {kSavedModelTagTrain},
               &bundle);
 

SavedModelコマンドラインインターフェースの詳細

SavedModelコマンドラインインターフェイス(CLI)を使用して、SavedModelを検査および実行できます。たとえば、CLIを使用してモデルのSignatureDefを検査できます。 CLIを使用すると、入力Tensor dtypeと形状がモデルに一致することをすばやく確認できます。さらに、モデルをテストする場合は、CLIを使用して、さまざまな形式(たとえば、Python式)のサンプル入力を渡して出力をフェッチすることにより、健全性チェックを実行できます。

SavedModel CLIをインストールする

大まかに言うと、TensorFlowは次の2つの方法のいずれかでインストールできます。

  • ビルド済みのTensorFlowバイナリをインストールする。
  • ソースコードからTensorFlowを構築する。

事前に構築されたTensorFlowバイナリを介してTensorFlowをインストールした場合、SavedModel CLIはシステムのパス名bin/saved_model_cliすでにインストールされています。

ソースコードからsaved_model_cliをビルドした場合は、次の追加コマンドを実行して、 saved_model_cliをビルドする必要があります。

 $ bazel build tensorflow/python/tools:saved_model_cli
 

コマンドの概要

SavedModel CLIは、SavedModelで次の2つのコマンドをサポートしています。

  • showは、SavedModelから利用可能な計算を示します。
  • runは、SavedModelから計算を実行します。

showコマンド

SavedModelには、タグセットで識別される1つ以上のモデルバリアント(技術的にはv1.MetaGraphDef )が含まれています。モデルを提供するために、各モデルバリアントにどのようなSignatureDefがあり、それらの入力と出力は何であるか疑問に思うかもしれません。 showコマンドを使用すると、SavedModelの内容を階層順に検査できます。構文は次のとおりです。

 usage: saved_model_cli show [-h] --dir DIR [--all]
[--tag_set TAG_SET] [--signature_def SIGNATURE_DEF_KEY]
 

たとえば、次のコマンドは、SavedModelで使用可能なすべてのタグセットを表示します。

 $ saved_model_cli show --dir /tmp/saved_model_dir
The given SavedModel contains the following tag-sets:
serve
serve, gpu
 

次のコマンドは、タグセットに使用可能なすべてのSignatureDefキーを表示します。

 $ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve
The given SavedModel `MetaGraphDef` contains `SignatureDefs` with the
following keys:
SignatureDef key: "classify_x2_to_y3"
SignatureDef key: "classify_x_to_y"
SignatureDef key: "regress_x2_to_y3"
SignatureDef key: "regress_x_to_y"
SignatureDef key: "regress_x_to_y2"
SignatureDef key: "serving_default"
 

タグセットに複数のタグがある場合は、すべてのタグをカンマで区切って指定する必要があります。例えば:

$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve,gpu

特定のSignatureDefすべての入出力TensorInfoを表示するには、 SignatureDefキーをsignature_defオプションに渡します。これは、後で計算グラフを実行するために入力テンソルのテンソルキー値、dtype、および形状を知りたい場合に非常に役立ちます。例えば:

 $ saved_model_cli show --dir \
/tmp/saved_model_dir --tag_set serve --signature_def serving_default
The given SavedModel SignatureDef contains the following input(s):
  inputs['x'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: x:0
The given SavedModel SignatureDef contains the following output(s):
  outputs['y'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: y:0
Method name is: tensorflow/serving/predict
 

SavedModel使用可能なすべての情報を表示するには、使用--allオプションを選択します。例えば:

$ saved_model_cli show --dir /tmp/saved_model_dir --all
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['classify_x2_to_y3']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['inputs'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x2:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['scores'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y3:0
  Method name is: tensorflow/serving/classify

...

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['x'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['y'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y:0
  Method name is: tensorflow/serving/predict

コマンドをrun

runコマンドを呼び出してグラフの計算を実行し、入力を渡してから、出力を表示します(オプションで保存する)。構文は次のとおりです。

 usage: saved_model_cli run [-h] --dir DIR --tag_set TAG_SET --signature_def
                           SIGNATURE_DEF_KEY [--inputs INPUTS]
                           [--input_exprs INPUT_EXPRS]
                           [--input_examples INPUT_EXAMPLES] [--outdir OUTDIR]
                           [--overwrite] [--tf_debug]
 

runコマンドは、モデルに入力を渡すための次の3つの方法を提供します。

  • --inputsオプションを使用すると、numpy ndarrayをファイルで渡すことができます。
  • --input_exprsオプションを使用すると、Python式を渡すことができます。
  • --input_examplesオプションを使用すると、 tf.train.Exampleを渡すことができます。

--inputs

入力データをファイルで渡すには、次の一般的な形式の--inputsオプションを指定します。

 --inputs <INPUTS>
 

ここで、 INPUTSは次のいずれかの形式です。

  • <input_key>=<filename>
  • <input_key>=<filename>[<variable_name>]

複数のINPUTSを渡すことができます。複数の入力を渡す場合は、セミコロンを使用して各INPUTSを区切ります。

saved_model_clinumpy.loadを使用してファイル名をロードしますファイル名は次のいずれかの形式になります。

  • .npy
  • .npz
  • 漬物フォーマット

.npyファイルには常にnumpy ndarrayが含まれています。したがって、 .npyファイルからロードする場合、コンテンツは指定された入力テンソルに直接割り当てられます。その.npyファイルでvariable_nameを指定すると、 variable_nameは無視され、警告が発行されます。

.npz (zip)ファイルからロードする場合、オプションでvariable_nameを指定して、zipファイル内の変数を識別し、入力テンソルキーに対してロードすることができます。 variable_nameを指定しない場合、SavedModel CLIはzipファイルにファイルが1つだけ含まれていることを確認し、指定された入力テンソルキーに対してそれをロードします。

ピクルファイルからロードするときに、角括弧でvariable_nameが指定されていない場合、ピクルファイル内にあるものはすべて、指定された入力テンソルキーに渡されます。そうでない場合、SavedModel CLIは、ディクショナリがピクルファイルに格納されていると想定し、 variable_nameに対応する値が使用されます。

--input_exprs

Python式を通じて入力を渡すには、 --input_exprsオプションを指定します。これは、データファイルがなくても、モデルのSignatureDefのdtypeと形状に一致するいくつかの単純な入力を使用してモデルの健全性をチェックする場合に役立ちます。例えば:

 `<input_key>=[[1],[2],[3]]`
 

Python式に加えて、numpy関数を渡すこともできます。例えば:

 `<input_key>=np.ones((32,32,3))`
 

numpyモジュールはnpとしてすでに利用可能であることに注意してください。)

--input_examples

tf.train.Exampleを入力として渡すには、 --input_examplesオプションを指定します。入力キーごとに、ディクショナリのリストをtf.train.Exampleます。各ディクショナリは、 tf.train.Exampleインスタンスです。辞書キーは機能であり、値は各機能の値リストです。例えば:

 `<input_key>=[{"age":[22,24],"education":["BS","MS"]}]`
 

出力を保存

デフォルトでは、SavedModel CLIは出力をstdoutに書き込みます。ディレクトリが--outdirオプションに渡される場合、出力は、指定されたディレクトリの下の出力テンソルキーにちなんで名前が付けられた.npyファイルとして保存されます。

--overwriteを使用して、既存の出力ファイルを上書きします。