このページは Cloud Translation API によって翻訳されました。
Switch to English

SavedModel形式を使用して

TensorFlow.org上に表示します Googleのコラボで実行します GitHubの上のソースを表示 ダウンロードノート

A SavedModelは重みと計算を含む完全なTensorFlowプログラムが含まれています。それは(と共有または展開するため、それが便利になり、実行にコードをビルド元のモデル、必要としないTFLiteTensorFlow.jsサービングTensorFlow 、またはTensorFlowハブ )。

低レベルの使用方法の詳細の一部には、この文書のダイブtf.saved_model APIを:

KerasからSavedModelを作成します

迅速な導入のために、このセクションでは、事前に訓練を受けたKerasモデルをエクスポートし、それを画像分類要求を提供しています。ガイドの残りの部分は詳細を記入してSavedModelsを作成する他の方法について説明します。

 import os
import tempfile

from matplotlib import pyplot as plt
import numpy as np
import tensorflow as tf

tmpdir = tempfile.mkdtemp()
 
 physical_devices = tf.config.experimental.list_physical_devices('GPU')
if physical_devices:
  tf.config.experimental.set_memory_growth(physical_devices[0], True)
 
 file = tf.keras.utils.get_file(
    "grace_hopper.jpg",
    "https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg")
img = tf.keras.preprocessing.image.load_img(file, target_size=[224, 224])
plt.imshow(img)
plt.axis('off')
x = tf.keras.preprocessing.image.img_to_array(img)
x = tf.keras.applications.mobilenet.preprocess_input(
    x[tf.newaxis,...])
 
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg
65536/61306 [================================] - 0s 0us/step

PNG

それは使用するのは簡単ですので、私たちは実行している例として、グレース・ホッパーの画像、及びKeras事前に訓練された画像の分類モデルを使用します。カスタムモデルは、あまりにも動作し、かつ、後に詳細に覆われています。

 labels_path = tf.keras.utils.get_file(
    'ImageNetLabels.txt',
    'https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt')
imagenet_labels = np.array(open(labels_path).read().splitlines())
 
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt
16384/10484 [==============================================] - 0s 0us/step

 pretrained_model = tf.keras.applications.MobileNet()
result_before_save = pretrained_model(x)

decoded = imagenet_labels[np.argsort(result_before_save)[0,::-1][:5]+1]

print("Result before saving:\n", decoded)
 
Downloading data from https://storage.googleapis.com/tensorflow/keras-applications/mobilenet/mobilenet_1_0_224_tf.h5
17227776/17225924 [==============================] - 1s 0us/step
Result before saving:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

このイメージのトップ予測は「軍服」です。

 mobilenet_save_path = os.path.join(tmpdir, "mobilenet/1/")
tf.saved_model.save(pretrained_model, mobilenet_save_path)
 
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1817: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/mobilenet/1/assets

セーブ・パス(ここで、最後のパスコンポーネントサービングTensorFlowで使用される規則は次の1/ここに)お使いのモデルのバージョン番号である-それはTensorflowのようなツールは、相対的な新しさについての理由にサービングことができます。

私たちは、とPythonのにSavedModelバックをロードすることができtf.saved_model.loadと提督ホッパーの画像を分類する方法を参照してください。

 loaded = tf.saved_model.load(mobilenet_save_path)
print(list(loaded.signatures.keys()))  # ["serving_default"]
 
['serving_default']

輸入署名は常に辞書を返します。署名の名前と出力辞書のキーをカスタマイズするには、参照のエクスポート時に署名を指定します

 infer = loaded.signatures["serving_default"]
print(infer.structured_outputs)
 
{'predictions': TensorSpec(shape=(None, 1000), dtype=tf.float32, name='predictions')}

SavedModelから推論を実行すると、元のモデルと同じ結果になります。

 labeling = infer(tf.constant(x))[pretrained_model.output_names[0]]

decoded = imagenet_labels[np.argsort(labeling)[0,::-1][:5]+1]

print("Result after saving and loading:\n", decoded)
 
Result after saving and loading:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

TensorFlowのサービングでSavedModelを実行します

SavedModelsは、Python(以下、その上より)から利用可能であるが、本番環境は、典型的には、Pythonコードを実行せずに推論するための専用サービスを使用します。これは、サービングTensorFlowを使用してSavedModelから設定するのは簡単です。

参照してくださいTensorFlowは、RESTのチュートリアルをサービング 、サービングインストールするための手順などの詳細についてはtensorflow_model_serverノートにしたり、ローカルマシン上に。迅速なスケッチとして、機能するmobilenetちょうどSavedModelディレクトリでのモデルのサーバーを指す上記のエクスポートされたモデルを:

 nohup tensorflow_model_server \
  --rest_api_port=8501 \
  --model_name=mobilenet \
  --model_base_path="/tmp/mobilenet" >server.log 2>&1
 

その後、要求を送信します。

 !pip install -q requests
import json
import numpy
import requests
data = json.dumps({"signature_name": "serving_default",
                   "instances": x.tolist()})
headers = {"content-type": "application/json"}
json_response = requests.post('http://localhost:8501/v1/models/mobilenet:predict',
                              data=data, headers=headers)
predictions = numpy.array(json.loads(json_response.text)["predictions"])
 

得られたpredictionsパイソンの結果と同一です。

ディスク上のSavedModelフォーマット

A SavedModelは、変数の値や語彙など、それらを実行するために必要なシリアル化された署名と状態を含むディレクトリです。

ls {mobilenet_save_path}
assets  saved_model.pb  variables

saved_model.pbファイル格納実際TensorFlowプログラム、またはモデル、および名前付き署名のセットは、それぞれがテンソルの入力を受け付け、テンソル出力を生成する機能を識別する。

SavedModelsは、(複数のモデルの複数の変異体を含んでいてもよいv1.MetaGraphDefsで識別、 --tag_setにフラグsaved_model_cli )が、これは稀です。モデルの複数のバリエーションを作成するAPIが含まtf.Estimator.experimental_export_all_saved_modelsとTensorFlow 1.xでtf.saved_model.Builder

saved_model_cli show --dir {mobilenet_save_path} --tag_set serve
The given SavedModel MetaGraphDef contains SignatureDefs with the following keys:
SignatureDef key: "__saved_model_init_op"
SignatureDef key: "serving_default"

variablesディレクトリには、標準的なトレーニングのチェックポイントを含みます( トレーニングチェックポイントへのガイド )。

ls {mobilenet_save_path}/variables
variables.data-00000-of-00002  variables.data-00001-of-00002  variables.index

assetsディレクトリには、語彙テーブルを初期化するために使用される例のテキストファイルのTensorFlowグラフで使用されるファイルが含まれています。これは、この例では未使用です。

SavedModelsが持っているかもしれassets.extra SavedModelをどうするかについての消費者のための例については、TensorFlowグラフで使用されていないすべてのファイルのディレクトリを。 TensorFlow自体は、このディレクトリを使用しません。

カスタムモデルを保存します

tf.saved_model.save保存サポートtf.Moduleようなオブジェクトとそのサブクラスを、 tf.keras.Layertf.keras.Model

保存と復元の例で見てみましょうtf.Module

 class CustomModule(tf.Module):

  def __init__(self):
    super(CustomModule, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function
  def __call__(self, x):
    print('Tracing with', x)
    return x * self.v

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def mutate(self, new_v):
    self.v.assign(new_v)

module = CustomModule()
 

あなたが保存するとtf.Module 、任意のtf.Variable属性は、 tf.functionメソッドを-decorated、およびtf.Moduleの再帰的なトラバースを経由して見つかったが保存されます。 (参照してください。 チェックポイントのチュートリアルこの再帰的なトラバースの詳細については。)しかし、任意のPythonは、属性の機能、およびデータは失われます。ときに、この手段は、ことtf.function保存され、何のPythonのコードが保存されません。

何のPythonコードが保存されていない場合は、どのようSavedModelは、機能を回復する方法を知っていますか?

簡単に言えば、 tf.function ConcreteFunction(周りに呼び出し可能ラッパー生成するPythonコードをトレースすることによって動作tf.Graph )。保存するときはtf.function 、あなたは本当に保存しているtf.function ConcreteFunctionsののキャッシュを。

関係について詳しく学ぶにはtf.functionとConcreteFunctionsを参照してくださいtf.functionガイドを

 module_no_signatures_path = os.path.join(tmpdir, 'module_no_signatures')
module(tf.constant(0.))
print('Saving model...')
tf.saved_model.save(module, module_no_signatures_path)
 
Tracing with Tensor("x:0", shape=(), dtype=float32)
Saving model...
Tracing with Tensor("x:0", shape=(), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_no_signatures/assets

ロードとカスタムモデルを使用して

あなたはPythonでSavedModelをロードすると、すべてのtf.Variable属性、 tf.functionメソッドを-decorated、そしてtf.Module元が保存されたとsが同じオブジェクト構造に復元されtf.Module

 imported = tf.saved_model.load(module_no_signatures_path)
assert imported(tf.constant(3.)).numpy() == 3
imported.mutate(tf.constant(2.))
assert imported(tf.constant(3.)).numpy() == 6
 

何のPythonコードが保存されていないため、呼び出しtf.function新しい入力シグネチャを持つことは失敗します。

 imported(tf.constant([3.]))
 
ValueError: Could not find matching function to call for canonicalized inputs ((,), {}). Only existing signatures are [((TensorSpec(shape=(), dtype=tf.float32, name=u'x'),), {})].

基本的な微調整

変数のオブジェクトが利用可能であり、我々は、インポート関数を使ってバックプロパゲーションすることができます。それは、単純な例でSavedModel(すなわちリトレイン)を微調整するのに十分です。

 optimizer = tf.optimizers.SGD(0.05)

def train_step():
  with tf.GradientTape() as tape:
    loss = (10. - imported(tf.constant(2.))) ** 2
  variables = tape.watched_variables()
  grads = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(grads, variables))
  return loss
 
 for _ in range(10):
  # "v" approaches 5, "loss" approaches 0
  print("loss={:.2f} v={:.2f}".format(train_step(), imported.v.numpy()))
 
loss=36.00 v=3.20
loss=12.96 v=3.92
loss=4.67 v=4.35
loss=1.68 v=4.61
loss=0.60 v=4.77
loss=0.22 v=4.86
loss=0.08 v=4.92
loss=0.03 v=4.95
loss=0.01 v=4.97
loss=0.00 v=4.98

一般的な微調整

KerasからSavedModelを提供し、より詳細平野より__call__微調整のアドレスより高度な例に。 TensorFlowハブは、該当する場合は、微調整のために共有SavedModelsに、それらの以下を提供することをお勧めします。

  • モデルの使用がドロップアウトまたは(バッチの正規化など)トレーニングと推論との間で往路と異なる別の技術場合、 __call__方法は任意で、Pythonの値の取りtraining=引数は、デフォルトことFalseしかしするに設定することができるTrue
  • 次へ__call__属性がある.variable.trainable_variable変数の対応リストを持つ属性が。もともとトレーニング可能だったが、微調整の際に凍結されることを意図している変数が省略されているから.trainable_variables
  • 層またはサブモデルの属性として重量regularizersを表すKerasようなフレームワークのために、また、存在し得る.regularization_losses属性。これは、値の合計損失に加えてのために意図されているゼロ引数関数のリストを保持しています。

初期MobileNet例に背中を行く、我々は、アクションでそれらのいくつかを見ることができます。

 loaded = tf.saved_model.load(mobilenet_save_path)
print("MobileNet has {} trainable variables: {}, ...".format(
          len(loaded.trainable_variables),
          ", ".join([v.name for v in loaded.trainable_variables[:5]])))
 
MobileNet has 83 trainable variables: conv1/kernel:0, conv1_bn/gamma:0, conv1_bn/beta:0, conv_dw_1/depthwise_kernel:0, conv_dw_1_bn/gamma:0, ...

 trainable_variable_ids = {id(v) for v in loaded.trainable_variables}
non_trainable_variables = [v for v in loaded.variables
                           if id(v) not in trainable_variable_ids]
print("MobileNet also has {} non-trainable variables: {}, ...".format(
          len(non_trainable_variables),
          ", ".join([v.name for v in non_trainable_variables[:3]])))
 
MobileNet also has 54 non-trainable variables: conv1_bn/moving_mean:0, conv1_bn/moving_variance:0, conv_dw_1_bn/moving_mean:0, ...

エクスポート時に署名を指定します

TensorFlowようなツールは、サービングとsaved_model_cli SavedModelsと対話することができます。これらのツールは、使用するConcreteFunctionsを判断するために、我々は、サービスの署名を指定する必要があります。 tf.keras.Model sが自動的に署名を提供する指定が、我々は、明示的に私たちのカスタムモジュールのためのサービス提供のシグネチャを宣言する必要があります。

デフォルトでは、署名は、カスタムの中で宣言されていませんtf.Module

 assert len(imported.signatures) == 0
 

サービング署名を宣言するために、使用ConcreteFunction指定signatures kwargを。単一の署名を指定する場合、その署名鍵になります'serving_default'定数として保存され、 tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY

 module_with_signature_path = os.path.join(tmpdir, 'module_with_signature')
call = module.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
tf.saved_model.save(module, module_with_signature_path, signatures=call)
 
Tracing with Tensor("x:0", dtype=float32)
Tracing with Tensor("x:0", dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_signature/assets

 imported_with_signatures = tf.saved_model.load(module_with_signature_path)
list(imported_with_signatures.signatures.keys())

 
['serving_default']

複数の署名をエクスポートするには、ConcreteFunctionsに署名鍵の辞書を渡します。 1 ConcreteFunction各署名鍵に対応します。

 module_multiple_signatures_path = os.path.join(tmpdir, 'module_with_multiple_signatures')
signatures = {"serving_default": call,
              "array_input": module.__call__.get_concrete_function(tf.TensorSpec([None], tf.float32))}

tf.saved_model.save(module, module_multiple_signatures_path, signatures=signatures)
 
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_multiple_signatures/assets

 imported_with_multiple_signatures = tf.saved_model.load(module_multiple_signatures_path)
list(imported_with_multiple_signatures.signatures.keys())
 
['serving_default', 'array_input']

デフォルトでは、出力テンソル名は次のように、かなり一般的なものですoutput_0 。出力の名前を制御するには、あなたの変更tf.function出力に出力名をマップする辞書を返すように。入力の名前はPythonの関数引数名に由来しています。

 class CustomModuleWithOutputName(tf.Module):
  def __init__(self):
    super(CustomModuleWithOutputName, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def __call__(self, x):
    return {'custom_output_name': x * self.v}

module_output = CustomModuleWithOutputName()
call_output = module_output.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
module_output_path = os.path.join(tmpdir, 'module_with_output_name')
tf.saved_model.save(module_output, module_output_path,
                    signatures={'serving_default': call_output})
 
INFO:tensorflow:Assets written to: /tmp/tmpmjpd1j0o/module_with_output_name/assets

 imported_with_output_name = tf.saved_model.load(module_output_path)
imported_with_output_name.signatures['serving_default'].structured_outputs
 
{'custom_output_name': TensorSpec(shape=(), dtype=tf.float32, name='custom_output_name')}

推定量からSavedModels

推定器は通過SavedModelsをエクスポートtf.Estimator.export_saved_model 。参照してください。 見積もりにガイド詳細については、を。

 input_column = tf.feature_column.numeric_column("x")
estimator = tf.estimator.LinearClassifier(feature_columns=[input_column])

def input_fn():
  return tf.data.Dataset.from_tensor_slices(
    ({"x": [1., 2., 3., 4.]}, [1, 1, 0, 0])).repeat(200).shuffle(64).batch(16)
estimator.train(input_fn)

serving_input_fn = tf.estimator.export.build_parsing_serving_input_receiver_fn(
  tf.feature_column.make_parse_example_spec([input_column]))
estimator_base_path = os.path.join(tmpdir, 'from_estimator')
estimator_path = estimator.export_saved_model(estimator_base_path, serving_input_fn)
 
INFO:tensorflow:Using default config.
WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmp65c02lsq
INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp65c02lsq', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/feature_column/feature_column_v2.py:540: Layer.add_variable (from tensorflow.python.keras.engine.base_layer_v1) is deprecated and will be removed in a future version.
Instructions for updating:
Please use `layer.add_weight` method instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/ftrl.py:144: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.
INFO:tensorflow:Graph was finalized.
INFO:tensorflow:Running local_init_op.
INFO:tensorflow:Done running local_init_op.
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...
INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp65c02lsq/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...
INFO:tensorflow:loss = 0.6931472, step = 0
INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 50...
INFO:tensorflow:Saving checkpoints for 50 into /tmp/tmp65c02lsq/model.ckpt.
INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 50...
INFO:tensorflow:Loss for final step: 0.4131384.
INFO:tensorflow:Calling model_fn.
INFO:tensorflow:Done calling model_fn.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/saved_model/signature_def_utils_impl.py:145: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info.
INFO:tensorflow:Signatures INCLUDED in export for Classify: ['serving_default', 'classification']
INFO:tensorflow:Signatures INCLUDED in export for Regress: ['regression']
INFO:tensorflow:Signatures INCLUDED in export for Predict: ['predict']
INFO:tensorflow:Signatures INCLUDED in export for Train: None
INFO:tensorflow:Signatures INCLUDED in export for Eval: None
INFO:tensorflow:Restoring parameters from /tmp/tmp65c02lsq/model.ckpt-50
INFO:tensorflow:Assets added to graph.
INFO:tensorflow:No assets to write.
INFO:tensorflow:SavedModel written to: /tmp/tmpmjpd1j0o/from_estimator/temp-1594862628/saved_model.pb

このSavedModelは、シリアライズ受け入れtf.Exampleサービス提供のために便利ですプロトコルバッファを、。しかし、我々はまた、でそれを読み込むことができtf.saved_model.loadとPythonからそれを実行します。

 imported = tf.saved_model.load(estimator_path)

def predict(x):
  example = tf.train.Example()
  example.features.feature["x"].float_list.value.extend([x])
  return imported.signatures["predict"](
    examples=tf.constant([example.SerializeToString()]))
 
 print(predict(1.5))
print(predict(3.5))
 
{'all_classes': <tf.Tensor: shape=(1, 2), dtype=string, numpy=array([[b'0', b'1']], dtype=object)>, 'logistic': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.5451435]], dtype=float32)>, 'probabilities': <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0.45485654, 0.5451435 ]], dtype=float32)>, 'logits': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.18106687]], dtype=float32)>, 'class_ids': <tf.Tensor: shape=(1, 1), dtype=int64, numpy=array([[1]])>, 'classes': <tf.Tensor: shape=(1, 1), dtype=string, numpy=array([[b'1']], dtype=object)>, 'all_class_ids': <tf.Tensor: shape=(1, 2), dtype=int32, numpy=array([[0, 1]], dtype=int32)>}
{'all_classes': <tf.Tensor: shape=(1, 2), dtype=string, numpy=array([[b'0', b'1']], dtype=object)>, 'logistic': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[0.21604054]], dtype=float32)>, 'probabilities': <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0.7839595 , 0.21604055]], dtype=float32)>, 'logits': <tf.Tensor: shape=(1, 1), dtype=float32, numpy=array([[-1.2888912]], dtype=float32)>, 'class_ids': <tf.Tensor: shape=(1, 1), dtype=int64, numpy=array([[0]])>, 'classes': <tf.Tensor: shape=(1, 1), dtype=string, numpy=array([[b'0']], dtype=object)>, 'all_class_ids': <tf.Tensor: shape=(1, 2), dtype=int32, numpy=array([[0, 1]], dtype=int32)>}

tf.estimator.export.build_raw_serving_input_receiver_fnあなたではなく、生のテンソルを取る入力機能を作成することができますtf.train.Example秒。

CでSavedModelをロード++

SavedModel用のC ++バージョンローダは SessionOptionsとRunOptionsを可能にしながら、経路からSavedModelをロードするためのAPIを提供します。あなたは、ロードされるグラフに関連付けられたタグを指定する必要があります。 SavedModelのロードされたバージョンがSavedModelBundleと呼ばれ、MetaGraphDef、それがロードされ、その中のセッションが含まれています。

 const string export_dir = ...
SavedModelBundle bundle;
...
LoadSavedModel(session_options, run_options, export_dir, {kSavedModelTagTrain},
               &bundle);
 

SavedModelコマンドラインインタフェースの詳細

あなたはSavedModelを検査し、実行するためにSavedModelコマンドラインインタフェース(CLI)を使用することができます。たとえば、モデルの検査にCLIを使用することができますSignatureDef秒。 CLIはすぐに入力テンソルDTYPEと形状がモデルと一致していることを確認することができます。あなたのモデルをテストしたい場合はまた、あなたが(例えば、Pythonの式)様々な形式でサンプルの入力を渡した後、出力を取り出すことにより、健全性チェックを行うためにCLIを使用することができます。

SavedModel CLIをインストールします。

大まかに言えば、あなたはどちらかで、次の2つの方法のTensorFlowをインストールすることができます。

  • 事前に構築されたTensorFlowバイナリをインストールすることによって。
  • ソースコードからTensorFlowを構築することにより。

あなたは事前に構築されたTensorFlowバイナリを通じてTensorFlowをインストールした場合、SavedModel CLIはすでにパス名でシステムにインストールされているbin/saved_model_cli

あなたがソースコードからTensorFlowを構築している場合は、構築するために、次の追加コマンドを実行する必要がありますsaved_model_cli

 $ bazel build tensorflow/python/tools:saved_model_cli
 

コマンドの概要

SavedModel CLIはSavedModelに次の2つのコマンドをサポートしています。

  • show SavedModelから入手可能な計算を示します。
  • run SavedModelから計算を実行します。

showコマンド

A SavedModelは、一つ以上のモデルバリアント(技術的には、含まれていv1.MetaGraphDef自分のタグ・セットによって識別される複数可)、。モデルを提供するために、あなたはどのような種類の疑問に思うかもしれませんSignatureDef Sを各モデルの変形であり、それらの入力と出力は何をしています。 showコマンドを使用すると、階層順にSavedModelの内容を調べてみましょう。ここでは、構文は次のとおりです。

 usage: saved_model_cli show [-h] --dir DIR [--all]
[--tag_set TAG_SET] [--signature_def SIGNATURE_DEF_KEY]
 

たとえば、次のコマンドを示しSavedModelで利用可能なすべてのタグセット:

 $ saved_model_cli show --dir /tmp/saved_model_dir
The given SavedModel contains the following tag-sets:
serve
serve, gpu
 

以下のコマンドを示し、使用可能なすべてのSignatureDefタグセットのキー:

 $ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve
The given SavedModel `MetaGraphDef` contains `SignatureDefs` with the
following keys:
SignatureDef key: "classify_x2_to_y3"
SignatureDef key: "classify_x_to_y"
SignatureDef key: "regress_x2_to_y3"
SignatureDef key: "regress_x_to_y"
SignatureDef key: "regress_x_to_y2"
SignatureDef key: "serving_default"
 

タグ・セット内に複数のタグがある場合、あなたはすべてのタグを指定する必要があり、各タグはカンマで区切られています。例えば:

$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve,gpu

すべての入力を表示し、特定のためのTensorInfoを出力するにはSignatureDef 、渡しSignatureDefための鍵signature_defオプション。後で計算グラフを実行するための入力テンソルのテンソルキー値、DTYPEや形状をお知りになりたい場合に非常に便利です。例えば:

 $ saved_model_cli show --dir \
/tmp/saved_model_dir --tag_set serve --signature_def serving_default
The given SavedModel SignatureDef contains the following input(s):
  inputs['x'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: x:0
The given SavedModel SignatureDef contains the following output(s):
  outputs['y'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: y:0
Method name is: tensorflow/serving/predict
 

SavedModel使用可能なすべての情報を表示するには、使用--allオプションを選択します。例えば:

$ saved_model_cli show --dir /tmp/saved_model_dir --all
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['classify_x2_to_y3']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['inputs'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x2:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['scores'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y3:0
  Method name is: tensorflow/serving/classify

...

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['x'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['y'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y:0
  Method name is: tensorflow/serving/predict

runコマンド

INVOKE runコマンド出力を入力を通過した後、表示(および必要に応じて保存する)、グラフ計算を実行します。ここでは、構文は次のとおりです。

 usage: saved_model_cli run [-h] --dir DIR --tag_set TAG_SET --signature_def
                           SIGNATURE_DEF_KEY [--inputs INPUTS]
                           [--input_exprs INPUT_EXPRS]
                           [--input_examples INPUT_EXAMPLES] [--outdir OUTDIR]
                           [--overwrite] [--tf_debug]
 

runコマンドは、モデルへの入力を渡すには、次の三つの方法が用意されています。

  • --inputsオプションは、ファイルにnumpyのndarrayを渡すことができます。
  • --input_exprsオプションは、Pythonの式を渡すことができます。
  • --input_examplesオプションでは、渡すことができますtf.train.Example

--inputs

ファイル内の入力データを渡すには、指定--inputs次の一般的な形式をとるオプションを、:

 --inputs <INPUTS>
 

どこの入力は、次のいずれかの形式であります:

  • <input_key>=<filename>
  • <input_key>=<filename>[<variable_name>]

あなたは、複数の入力を渡すことができます。あなたが複数の入力を渡す行う場合は、 入力のそれぞれを分離するためにセミコロンを使用します。

saved_model_cli用途はnumpy.load ファイル名をロードします。 ファイル名は、次のいずれかの形式であってもよいです。

  • .npy
  • .npz
  • ピクルスフォーマット

.npyファイルは常にnumpyのndarrayが含まれています。場合ローディングしたがって、 .npyファイル、コンテンツが直接指定された入力テンソルに割り当てられます。あなたはそれと変数名を指定した場合.npyファイル、 変数名は無視され、警告が発行されます。

ロードするとき.npz (ZIP)ファイルは、必要に応じて、入力テンソルキーをロードするためにzipファイル内の変数を識別するために、 変数名を指定することができます。あなたは変数名を指定しない場合は、SavedModel CLIは、一つだけのファイルがzipファイルに含まれていることを確認し、指定された入力テンソルキーのためにそれをロードします。

いかなる場合ピクルスファイルからのロードは、ときにvariable_name角括弧内に指定されていない、すなわち、ピクルスファイル内にあるものは何でも、指定された入力テンソルキーに渡されます。そうでなければ、SavedModel CLIは、辞書は、ピクルスファイルに格納され、 変数名に対応する値が使用されると仮定します。

--input_exprs

Pythonの表現を通じて入力を渡すには、指定--input_exprsオプションを選択します。これは、モデルののDTYPEと形状一致するいくつかの簡単な入力でモデルをチェック転がっデータファイルを持っていますが、まだ正気にしたくないときに便利でしょうSignatureDef秒。例えば:

 `<input_key>=[[1],[2],[3]]`
 

Pythonの表現に加えて、あなたはまた、numpyの機能を渡すことができます。例えば:

 `<input_key>=np.ones((32,32,3))`
 

(ことに注意numpyモジュールとして、既に使用可能であるnp 。)

--input_examples

合格するためにtf.train.Example入力として、指定--input_examplesオプションを選択します。各入力キーには、各辞書のインスタンスである場合、辞書のリストを取りtf.train.Example 。辞書のキーは機能していると値が各機能の値のリストです。例えば:

 `<input_key>=[{"age":[22,24],"education":["BS","MS"]}]`
 

保存出力

デフォルトでは、SavedModel CLIは標準出力に出力を書き込みます。ディレクトリが渡された場合--outdirオプション、出力として保存されます.npy指定されたディレクトリの下に出力テンソルキーにちなんで名付けられたファイル。

使用--overwrite既存の出力ファイルを上書きします。