หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

ใช้รูปแบบ SavedModel

ดูใน TensorFlow.org เรียกใช้ใน Google Colab ดูแหล่งที่มาบน GitHub ดาวน์โหลดสมุดบันทึก

SavedModel มีโปรแกรม TensorFlow ที่สมบูรณ์รวมถึงน้ำหนักและการคำนวณ ไม่จำเป็นต้องใช้รหัสการสร้างโมเดลดั้งเดิมในการรันซึ่งทำให้มีประโยชน์สำหรับการแชร์หรือปรับใช้ (ด้วย TFLite , TensorFlow.js , TensorFlow Serving หรือ TensorFlow Hub )

เอกสารนี้เจาะลึกรายละเอียดบางส่วนของวิธีการใช้ tf.saved_model api ระดับต่ำ:

การสร้าง SavedModel จาก Keras

สำหรับการแนะนำอย่างรวดเร็วส่วนนี้จะส่งออกโมเดล Keras ที่ได้รับการฝึกฝนมาก่อนและให้บริการคำขอการจัดประเภทรูปภาพด้วย ส่วนที่เหลือของคำแนะนำจะกรอกรายละเอียดและพูดคุยถึงวิธีอื่น ๆ ในการสร้าง SavedModels

import os
import tempfile

from matplotlib import pyplot as plt
import numpy as np
import tensorflow as tf

tmpdir = tempfile.mkdtemp()
physical_devices = tf.config.experimental.list_physical_devices('GPU')
for device in physical_devices:
  tf.config.experimental.set_memory_growth(device, True)
file = tf.keras.utils.get_file(
    "grace_hopper.jpg",
    "https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg")
img = tf.keras.preprocessing.image.load_img(file, target_size=[224, 224])
plt.imshow(img)
plt.axis('off')
x = tf.keras.preprocessing.image.img_to_array(img)
x = tf.keras.applications.mobilenet.preprocess_input(
    x[tf.newaxis,...])
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg
65536/61306 [================================] - 0s 0us/step

png

คุณจะใช้รูปภาพของ Grace Hopper เป็นตัวอย่างการวิ่งและโมเดลการจัดหมวดหมู่ภาพที่ผ่านการฝึกอบรมของ Keras เนื่องจากใช้งานง่าย โมเดลที่กำหนดเองก็ใช้ได้เช่นกันและจะกล่าวถึงรายละเอียดในภายหลัง

labels_path = tf.keras.utils.get_file(
    'ImageNetLabels.txt',
    'https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt')
imagenet_labels = np.array(open(labels_path).read().splitlines())
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt
16384/10484 [==============================================] - 0s 0us/step

pretrained_model = tf.keras.applications.MobileNet()
result_before_save = pretrained_model(x)

decoded = imagenet_labels[np.argsort(result_before_save)[0,::-1][:5]+1]

print("Result before saving:\n", decoded)
Downloading data from https://storage.googleapis.com/tensorflow/keras-applications/mobilenet/mobilenet_1_0_224_tf.h5
17227776/17225924 [==============================] - 1s 0us/step
Result before saving:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

คำทำนายด้านบนสำหรับภาพนี้คือ "เครื่องแบบทหาร"

mobilenet_save_path = os.path.join(tmpdir, "mobilenet/1/")
tf.saved_model.save(pretrained_model, mobilenet_save_path)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/tracking/tracking.py:111: Layer.updates (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.
INFO:tensorflow:Assets written to: /tmp/tmpqrbxtm18/mobilenet/1/assets

เส้นทางการบันทึกเป็นไปตามแบบแผนที่ใช้โดย TensorFlow Serving โดยที่คอมโพเนนต์เส้นทางสุดท้าย ( 1/ ที่นี่) เป็นหมายเลขเวอร์ชันสำหรับโมเดลของคุณซึ่งช่วยให้เครื่องมือเช่น Tensorflow Serving สามารถให้เหตุผลเกี่ยวกับความสดที่สัมพันธ์กันได้

คุณสามารถโหลด SavedModel กลับเข้าไปใน Python ด้วย tf.saved_model.load และดูว่าอิมเมจของ Admiral Hopper ถูกจัดประเภทอย่างไร

loaded = tf.saved_model.load(mobilenet_save_path)
print(list(loaded.signatures.keys()))  # ["serving_default"]
['serving_default']

ลายเซ็นที่นำเข้าจะส่งคืนพจนานุกรมเสมอ ในการกำหนดชื่อลายเซ็นและคีย์พจนานุกรมเอาต์พุตโปรดดู การระบุลายเซ็นระหว่างการส่งออก

infer = loaded.signatures["serving_default"]
print(infer.structured_outputs)
{'predictions': TensorSpec(shape=(None, 1000), dtype=tf.float32, name='predictions')}

การเรียกใช้การอนุมานจาก SavedModel ให้ผลลัพธ์เช่นเดียวกับโมเดลดั้งเดิม

labeling = infer(tf.constant(x))[pretrained_model.output_names[0]]

decoded = imagenet_labels[np.argsort(labeling)[0,::-1][:5]+1]

print("Result after saving and loading:\n", decoded)
Result after saving and loading:
 ['military uniform' 'bow tie' 'suit' 'bearskin' 'pickelhaube']

เรียกใช้ SavedModel ใน TensorFlow Serving

SavedModels สามารถใช้งานได้จาก Python (เพิ่มเติมจากด้านล่าง) แต่โดยทั่วไปแล้วสภาพแวดล้อมการใช้งานจริงจะใช้บริการเฉพาะสำหรับการอนุมานโดยไม่ต้องเรียกใช้โค้ด Python ง่ายต่อการตั้งค่าจาก SavedModel โดยใช้ TensorFlow Serving

ดู บทแนะนำ TensorFlow Serving REST สำหรับตัวอย่างการให้บริการเทนเซอร์โฟลว์แบบ end-to-end

รูปแบบ SavedModel บนดิสก์

SavedModel คือไดเร็กทอรีที่มีลายเซ็นแบบอนุกรมและสถานะที่จำเป็นในการรันรวมถึงค่าตัวแปรและคำศัพท์

ls {mobilenet_save_path}
assets  saved_model.pb  variables

ไฟล์ saved_model.pb เก็บโปรแกรมหรือโมเดล TensorFlow จริงและชุดของลายเซ็นที่มีชื่อแต่ละชุดระบุฟังก์ชันที่รับอินพุตเทนเซอร์และสร้างเอาต์พุตเทนเซอร์

SavedModels อาจมีหลายสายพันธุ์ของรูปแบบ (หลาย v1.MetaGraphDefs ระบุกับ --tag_set ธง saved_model_cli ) แต่นี่เป็นเรื่องยาก API ที่สร้างรูปแบบหลายรูปแบบ ได้แก่ tf.Estimator.experimental_export_all_saved_models และใน TensorFlow 1.x tf.saved_model.Builder

saved_model_cli show --dir {mobilenet_save_path} --tag_set serve
2020-10-13 01:23:41.728141: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
The given SavedModel MetaGraphDef contains SignatureDefs with the following keys:
SignatureDef key: "__saved_model_init_op"
SignatureDef key: "serving_default"

ไดเร็กทอรี variables มีจุดตรวจการฝึกอบรมมาตรฐาน (ดู คำแนะนำเกี่ยวกับจุดตรวจการฝึกอบรม )

ls {mobilenet_save_path}/variables
variables.data-00000-of-00001  variables.index

ไดเร็กทอรี assets ประกอบด้วยไฟล์ที่ใช้โดยกราฟ TensorFlow เช่นไฟล์ข้อความที่ใช้ในการเริ่มต้นตารางคำศัพท์ ไม่ได้ใช้ในตัวอย่างนี้

SavedModels อาจมีไดเร็กทอรี assets.extra สำหรับไฟล์ใด ๆ ที่ไม่ได้ใช้โดยกราฟ TensorFlow ตัวอย่างเช่นข้อมูลสำหรับผู้บริโภคเกี่ยวกับสิ่งที่ต้องทำกับ SavedModel TensorFlow เองไม่ได้ใช้ไดเร็กทอรีนี้

กำลังบันทึกโมเดลที่กำหนดเอง

tf.saved_model.save รองรับการบันทึก tf.Module วัตถุ tf.Module และคลาสย่อยเช่น tf.keras.Layer และ tf.keras.Model

มาดูตัวอย่างการบันทึกและกู้คืน tf.Module

class CustomModule(tf.Module):

  def __init__(self):
    super(CustomModule, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function
  def __call__(self, x):
    print('Tracing with', x)
    return x * self.v

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def mutate(self, new_v):
    self.v.assign(new_v)

module = CustomModule()

เมื่อคุณบันทึก tf.Module ใด ๆ tf.Variable คุณลักษณะ tf.function -decorated วิธีการและ tf.Module s พบผ่านทางข้าม recursive จะถูกบันทึกไว้ (ดู บทช่วยสอน Checkpoint สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการข้ามผ่านแบบวนซ้ำนี้) อย่างไรก็ตามแอตทริบิวต์ฟังก์ชันและข้อมูลของ Python ใด ๆ จะสูญหาย ซึ่งหมายความว่าเมื่อบันทึก tf.function จะไม่มีการบันทึกรหัส Python

หากไม่มีการบันทึกรหัส Python SavedModel จะรู้วิธีคืนค่าฟังก์ชันได้อย่างไร

สั้น ๆ tf.function ทำงานโดยการติดตามโค้ด Python เพื่อสร้าง ConcreteFunction (ตัวคลุมที่เรียกได้รอบ ๆ tf.Graph ) เมื่อบันทึก tf.function คุณจะประหยัดแคชของ ConcreteFunctions ของ tf.function

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับความสัมพันธ์ระหว่าง tf.function และ ConcreteFunctions โปรดดู คู่มือ tf.function

module_no_signatures_path = os.path.join(tmpdir, 'module_no_signatures')
module(tf.constant(0.))
print('Saving model...')
tf.saved_model.save(module, module_no_signatures_path)
Tracing with Tensor("x:0", shape=(), dtype=float32)
Saving model...
Tracing with Tensor("x:0", shape=(), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpqrbxtm18/module_no_signatures/assets

กำลังโหลดและใช้โมเดลที่กำหนดเอง

เมื่อคุณโหลด SavedModel ใน Python แอตทริบิวต์ tf.Variable ทั้งหมด tf.Variable tf.function method และ tf.Module s จะถูกกู้คืนในโครงสร้างอ็อบเจ็กต์เดียวกับ tf.Module บันทึกไว้เดิม

imported = tf.saved_model.load(module_no_signatures_path)
assert imported(tf.constant(3.)).numpy() == 3
imported.mutate(tf.constant(2.))
assert imported(tf.constant(3.)).numpy() == 6

เนื่องจากไม่มีการบันทึกรหัส Python การเรียกใช้ tf.function ด้วยลายเซ็นอินพุตใหม่จะล้มเหลว:

imported(tf.constant([3.]))
ValueError: Could not find matching function to call for canonicalized inputs ((,), {}). Only existing signatures are [((TensorSpec(shape=(), dtype=tf.float32, name=u'x'),), {})].

การปรับแต่งขั้นพื้นฐาน

มีอ็อบเจ็กต์ตัวแปรและคุณสามารถแบ็คดรอปผ่านฟังก์ชันที่นำเข้าได้ นั่นก็เพียงพอแล้วที่จะปรับแต่ง (เช่นฝึกใหม่) SavedModel ในกรณีง่ายๆ

optimizer = tf.optimizers.SGD(0.05)

def train_step():
  with tf.GradientTape() as tape:
    loss = (10. - imported(tf.constant(2.))) ** 2
  variables = tape.watched_variables()
  grads = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(grads, variables))
  return loss
for _ in range(10):
  # "v" approaches 5, "loss" approaches 0
  print("loss={:.2f} v={:.2f}".format(train_step(), imported.v.numpy()))
loss=36.00 v=3.20
loss=12.96 v=3.92
loss=4.67 v=4.35
loss=1.68 v=4.61
loss=0.60 v=4.77
loss=0.22 v=4.86
loss=0.08 v=4.92
loss=0.03 v=4.95
loss=0.01 v=4.97
loss=0.00 v=4.98

การปรับละเอียดทั่วไป

SavedModel จาก Keras ให้ รายละเอียด มากกว่า __call__ ธรรมดาเพื่อ __call__ กับกรณีขั้นสูงของการปรับแต่งอย่างละเอียด TensorFlow Hub ขอแนะนำให้ระบุสิ่งต่อไปนี้หากมีใน SavedModels ที่ใช้ร่วมกันเพื่อวัตถุประสงค์ในการปรับแต่ง:

  • ถ้าแบบจำลองใช้การออกกลางคันหรือเทคนิคอื่นที่การส่งต่อไปข้างหน้าแตกต่างกันระหว่างการฝึกอบรมและการอนุมาน (เช่นการทำให้เป็นมาตรฐานแบตช์) เมธอด __call__ จะใช้อาร์กิวเมนต์ training= ค่า Python ที่เป็นทางเลือกซึ่งมีค่าเริ่มต้นเป็น False แต่สามารถตั้งเป็น True ได้
  • ถัดจากแอตทริบิวต์ __call__ แอตทริบิวต์. .variable และ . .trainable_variable พร้อมรายการตัวแปรที่เกี่ยวข้อง ตัวแปรที่เดิมสามารถฝึกได้ แต่ถูกกำหนดให้หยุด .trainable_variables ในระหว่างการปรับแต่งอย่างละเอียดจะละเว้นจาก. .trainable_variables
  • เพื่อประโยชน์ของเฟรมเวิร์กเช่น Keras ที่แสดงถึง weight regularizers เป็นแอตทริบิวต์ของเลเยอร์หรือโมเดลย่อยอาจมีแอตทริบิวต์. .regularization_losses มันมีรายการของฟังก์ชันที่เป็นศูนย์อาร์กิวเมนต์ซึ่งมีค่าที่หมายถึงนอกเหนือจากการสูญเสียทั้งหมด

กลับไปที่ตัวอย่าง MobileNet เริ่มต้นคุณจะเห็นบางส่วนที่ใช้งานได้:

loaded = tf.saved_model.load(mobilenet_save_path)
print("MobileNet has {} trainable variables: {}, ...".format(
          len(loaded.trainable_variables),
          ", ".join([v.name for v in loaded.trainable_variables[:5]])))
MobileNet has 83 trainable variables: conv1/kernel:0, conv1_bn/gamma:0, conv1_bn/beta:0, conv_dw_1/depthwise_kernel:0, conv_dw_1_bn/gamma:0, ...

trainable_variable_ids = {id(v) for v in loaded.trainable_variables}
non_trainable_variables = [v for v in loaded.variables
                           if id(v) not in trainable_variable_ids]
print("MobileNet also has {} non-trainable variables: {}, ...".format(
          len(non_trainable_variables),
          ", ".join([v.name for v in non_trainable_variables[:3]])))
MobileNet also has 54 non-trainable variables: conv1_bn/moving_mean:0, conv1_bn/moving_variance:0, conv_dw_1_bn/moving_mean:0, ...

การระบุลายเซ็นระหว่างการส่งออก

เครื่องมือเช่น TensorFlow Serving และ saved_model_cli สามารถโต้ตอบกับ SavedModels เพื่อช่วยให้เครื่องมือเหล่านี้พิจารณาว่าจะใช้ ConcreteFunctions ใดคุณต้องระบุลายเซ็นการให้บริการ tf.keras.Model s ระบุลายเซ็นการให้บริการโดยอัตโนมัติ แต่คุณจะต้องประกาศลายเซ็นการให้บริการอย่างชัดเจนสำหรับโมดูลที่กำหนดเองของเรา

โดยค่าเริ่มต้นจะไม่มีการประกาศลายเซ็นใน tf.Module แบบกำหนดเอง

assert len(imported.signatures) == 0

ในการประกาศลายเซ็นการเสิร์ฟให้ระบุ ConcreteFunction โดยใช้ kwarg signatures เมื่อระบุลายเซ็นเดียวคีย์ลายเซ็นจะเป็น 'serving_default' ซึ่งบันทึกเป็นค่าคงที่ tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY

module_with_signature_path = os.path.join(tmpdir, 'module_with_signature')
call = module.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
tf.saved_model.save(module, module_with_signature_path, signatures=call)
Tracing with Tensor("x:0", dtype=float32)
Tracing with Tensor("x:0", dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpqrbxtm18/module_with_signature/assets

imported_with_signatures = tf.saved_model.load(module_with_signature_path)
list(imported_with_signatures.signatures.keys())
['serving_default']

ในการส่งออกลายเซ็นหลายรายการให้ส่งพจนานุกรมคีย์ลายเซ็นไปยัง ConcreteFunctions คีย์ลายเซ็นแต่ละอันสอดคล้องกับ ConcreteFunction หนึ่งรายการ

module_multiple_signatures_path = os.path.join(tmpdir, 'module_with_multiple_signatures')
signatures = {"serving_default": call,
              "array_input": module.__call__.get_concrete_function(tf.TensorSpec([None], tf.float32))}

tf.saved_model.save(module, module_multiple_signatures_path, signatures=signatures)
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
Tracing with Tensor("x:0", shape=(None,), dtype=float32)
INFO:tensorflow:Assets written to: /tmp/tmpqrbxtm18/module_with_multiple_signatures/assets

imported_with_multiple_signatures = tf.saved_model.load(module_multiple_signatures_path)
list(imported_with_multiple_signatures.signatures.keys())
['serving_default', 'array_input']

ตามค่าเริ่มต้นชื่อเทนเซอร์ของเอาต์พุตจะค่อนข้างทั่วไปเช่น output_0 ในการควบคุมชื่อของเอาต์พุตให้แก้ไข tf.function ของคุณเพื่อส่งคืนพจนานุกรมที่แมปชื่อเอาต์พุตกับเอาต์พุต ชื่อของอินพุตได้มาจากชื่ออาร์กิวเมนต์ของฟังก์ชัน Python

class CustomModuleWithOutputName(tf.Module):
  def __init__(self):
    super(CustomModuleWithOutputName, self).__init__()
    self.v = tf.Variable(1.)

  @tf.function(input_signature=[tf.TensorSpec([], tf.float32)])
  def __call__(self, x):
    return {'custom_output_name': x * self.v}

module_output = CustomModuleWithOutputName()
call_output = module_output.__call__.get_concrete_function(tf.TensorSpec(None, tf.float32))
module_output_path = os.path.join(tmpdir, 'module_with_output_name')
tf.saved_model.save(module_output, module_output_path,
                    signatures={'serving_default': call_output})
INFO:tensorflow:Assets written to: /tmp/tmpqrbxtm18/module_with_output_name/assets

imported_with_output_name = tf.saved_model.load(module_output_path)
imported_with_output_name.signatures['serving_default'].structured_outputs
{'custom_output_name': TensorSpec(shape=(), dtype=tf.float32, name='custom_output_name')}

โหลด SavedModel ใน C ++

ตัว โหลด SavedModel เวอร์ชัน C ++ มี API เพื่อโหลด SavedModel จากพา ธ ในขณะที่อนุญาต SessionOptions และ RunOptions คุณต้องระบุแท็กที่เกี่ยวข้องกับกราฟที่จะโหลด เวอร์ชันที่โหลดของ SavedModel เรียกว่า SavedModelBundle และมี MetaGraphDef และเซสชันที่โหลดไว้

const string export_dir = ...
SavedModelBundle bundle;
...
LoadSavedModel(session_options, run_options, export_dir, {kSavedModelTagTrain},
               &bundle);

รายละเอียดของอินเตอร์เฟสบรรทัดคำสั่ง SavedModel

คุณสามารถใช้ SavedModel Command Line Interface (CLI) เพื่อตรวจสอบและเรียกใช้งาน SavedModel ตัวอย่างเช่นคุณสามารถใช้ CLI เพื่อตรวจสอบ SignatureDef ของโมเดล CLI ช่วยให้คุณสามารถยืนยันได้อย่างรวดเร็วว่าอินพุต Tensor dtype และรูปร่างตรงกับโมเดล ยิ่งไปกว่านั้นหากคุณต้องการทดสอบโมเดลของคุณคุณสามารถใช้ CLI เพื่อตรวจสอบความสมบูรณ์โดยการส่งอินพุตตัวอย่างในรูปแบบต่างๆ (เช่นนิพจน์ Python) จากนั้นดึงเอาต์พุต

ติดตั้ง SavedModel CLI

โดยทั่วไปคุณสามารถติดตั้ง TensorFlow ได้สองวิธีต่อไปนี้:

  • โดยการติดตั้งไบนารี TensorFlow ที่สร้างไว้ล่วงหน้า
  • โดยการสร้าง TensorFlow จากซอร์สโค้ด

หากคุณติดตั้ง TensorFlow ผ่านไบนารี TensorFlow ที่สร้างไว้ล่วงหน้าก็จะมีการติดตั้ง SavedModel CLI บนระบบของคุณแล้วที่ pathname bin/saved_model_cli

หากคุณสร้าง TensorFlow จากซอร์สโค้ดคุณต้องรันคำสั่งเพิ่มเติมต่อไปนี้เพื่อสร้าง saved_model_cli :

$ bazel build tensorflow/python/tools:saved_model_cli

ภาพรวมของคำสั่ง

SavedModel CLI สนับสนุนสองคำสั่งต่อไปนี้บน SavedModel:

  • show ซึ่งแสดงการคำนวณที่มีอยู่จาก SavedModel
  • run ซึ่งรันการคำนวณจาก SavedModel

show คำสั่ง

SavedModel มีตัวแปรโมเดลอย่างน้อยหนึ่งตัว (ในทางเทคนิคคือ v1.MetaGraphDef s) ซึ่งระบุโดยชุดแท็ก ในการให้บริการโมเดลคุณอาจสงสัยว่า SignatureDef s เป็นแบบไหนในตัวแปรแต่ละรุ่นและอินพุตและเอาต์พุตคืออะไร คำสั่ง show ช่วยให้คุณตรวจสอบเนื้อหาของ SavedModel ตามลำดับชั้น นี่คือไวยากรณ์:

usage: saved_model_cli show [-h] --dir DIR [--all]
[--tag_set TAG_SET] [--signature_def SIGNATURE_DEF_KEY]

ตัวอย่างเช่นคำสั่งต่อไปนี้แสดงชุดแท็กที่มีอยู่ทั้งหมดใน SavedModel:

$ saved_model_cli show --dir /tmp/saved_model_dir
The given SavedModel contains the following tag-sets:
serve
serve, gpu

คำสั่งต่อไปนี้แสดงคีย์ SignatureDef มีอยู่ทั้งหมดสำหรับชุดแท็ก:

$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve
The given SavedModel `MetaGraphDef` contains `SignatureDefs` with the
following keys:
SignatureDef key: "classify_x2_to_y3"
SignatureDef key: "classify_x_to_y"
SignatureDef key: "regress_x2_to_y3"
SignatureDef key: "regress_x_to_y"
SignatureDef key: "regress_x_to_y2"
SignatureDef key: "serving_default"

หากมีแท็ก หลาย แท็กในชุดแท็กคุณต้องระบุแท็กทั้งหมดโดยแต่ละแท็กคั่นด้วยเครื่องหมายจุลภาค ตัวอย่างเช่น:

$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve,gpu

หากต้องการแสดงอินพุตและเอาต์พุตทั้งหมด TensorInfo สำหรับ SignatureDef เฉพาะให้ส่งคีย์ SignatureDef ไปยังอ็อพชัน signature_def สิ่งนี้มีประโยชน์มากเมื่อคุณต้องการทราบค่าคีย์เทนเซอร์ dtype และรูปร่างของเทนเซอร์อินพุตสำหรับเรียกใช้กราฟการคำนวณในภายหลัง ตัวอย่างเช่น:

$ saved_model_cli show --dir \
/tmp/saved_model_dir --tag_set serve --signature_def serving_default
The given SavedModel SignatureDef contains the following input(s):
  inputs['x'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: x:0
The given SavedModel SignatureDef contains the following output(s):
  outputs['y'] tensor_info:
      dtype: DT_FLOAT
      shape: (-1, 1)
      name: y:0
Method name is: tensorflow/serving/predict

ในการแสดงข้อมูลที่มีอยู่ทั้งหมดใน SavedModel ให้ใช้ตัวเลือก --all ตัวอย่างเช่น:

$ saved_model_cli show --dir /tmp/saved_model_dir --all
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['classify_x2_to_y3']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['inputs'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x2:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['scores'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y3:0
  Method name is: tensorflow/serving/classify

...

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['x'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: x:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['y'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: y:0
  Method name is: tensorflow/serving/predict

run คำสั่ง

เรียก run คำสั่ง run เพื่อรันการคำนวณกราฟส่งอินพุตจากนั้นแสดง (และเลือกบันทึก) เอาต์พุต นี่คือไวยากรณ์:

usage: saved_model_cli run [-h] --dir DIR --tag_set TAG_SET --signature_def
                           SIGNATURE_DEF_KEY [--inputs INPUTS]
                           [--input_exprs INPUT_EXPRS]
                           [--input_examples INPUT_EXAMPLES] [--outdir OUTDIR]
                           [--overwrite] [--tf_debug]

คำสั่ง run มีสามวิธีต่อไปนี้ในการส่งอินพุตไปยังโมเดล:

  • --inputs ตัวเลือก --inputs ช่วยให้คุณสามารถส่ง numpy ndarray ในไฟล์ได้
  • --input_exprs option ช่วยให้คุณสามารถส่งผ่านนิพจน์ Python ได้
  • --input_examples option ช่วยให้คุณสามารถส่ง tf.train.Example

--inputs

ในการส่งข้อมูลอินพุตในไฟล์ให้ระบุ --inputs ซึ่งใช้รูปแบบทั่วไปดังต่อไปนี้:

--inputs <INPUTS>

โดยที่ INPUTS เป็นรูปแบบใดรูปแบบหนึ่งต่อไปนี้:

  • <input_key>=<filename>
  • <input_key>=<filename>[<variable_name>]

คุณสามารถส่งผ่าน INPUTS ได้ หลายรายการ ถ้าคุณทำผ่านปัจจัยการผลิตหลายรายการให้ใช้เครื่องหมายอัฒภาคเพื่อแยกแต่ละของปัจจัยการผลิต

saved_model_cli ใช้ numpy.load เพื่อโหลด ชื่อไฟล์ ชื่อไฟล์ อาจอยู่ในรูปแบบต่อไปนี้:

  • .npy
  • .npz
  • รูปแบบการดอง

ไฟล์. .npy จะมี numpy ndarray เสมอ ดังนั้นเมื่อโหลดจากไฟล์. .npy เนื้อหาจะถูกกำหนดโดยตรงให้กับอินพุตเทนเซอร์ที่ระบุ หากคุณระบุ variable_name ด้วยไฟล์. .npy นั้น variable_name จะถูกละเว้นและจะมีการแจ้งเตือน

เมื่อโหลดจาก .npz (zip) คุณสามารถเลือกที่จะระบุ variable_name เพื่อระบุตัวแปรภายในไฟล์ zip เพื่อโหลดสำหรับคีย์เทนเซอร์อินพุต หากคุณไม่ได้ระบุ variable_name SavedModel CLI จะตรวจสอบว่ามีเพียงไฟล์เดียวเท่านั้นที่รวมอยู่ในไฟล์ zip และโหลดสำหรับคีย์อินพุตที่ระบุ

เมื่อโหลดจากไฟล์ pickle หากไม่มีการระบุ variable_name ในวงเล็บเหลี่ยมสิ่งที่อยู่ในไฟล์ pickle จะถูกส่งไปยังคีย์อินพุตเทนเซอร์ที่ระบุ มิฉะนั้น SavedModel CLI จะถือว่าพจนานุกรมถูกเก็บไว้ในไฟล์ pickle และจะใช้ค่าที่สอดคล้องกับ variable_name

--input_exprs

ในการส่งอินพุตผ่านนิพจน์ Python ให้ระบุ --input_exprs สิ่งนี้มีประโยชน์เมื่อคุณไม่มีไฟล์ข้อมูลอยู่รอบ ๆ แต่ยังคงต้องการตรวจสอบความถูกต้องของโมเดลด้วยอินพุตง่ายๆที่ตรงกับประเภทและรูปร่างของ SignatureDef s ของโมเดล ตัวอย่างเช่น:

`<input_key>=[[1],[2],[3]]`

นอกจากนิพจน์ Python แล้วคุณยังสามารถส่งผ่านฟังก์ชัน numpy ได้อีกด้วย ตัวอย่างเช่น:

`<input_key>=np.ones((32,32,3))`

(โปรดทราบว่าคุณสามารถใช้โมดูล numpy ได้แล้วในชื่อ np )

--input_examples

ในการส่งผ่าน tf.train.Example เป็นอินพุตให้ระบุ --input_examples สำหรับคีย์อินพุตแต่ละคีย์จะมีรายการพจนานุกรมโดยที่พจนานุกรมแต่ละอันเป็นอินสแตนซ์ของ tf.train.Example คีย์พจนานุกรมคือคุณสมบัติและค่าต่างๆคือรายการค่าสำหรับแต่ละคุณสมบัติ ตัวอย่างเช่น:

`<input_key>=[{"age":[22,24],"education":["BS","MS"]}]`

บันทึกผลลัพธ์

โดยค่าเริ่มต้น SavedModel CLI จะเขียนเอาต์พุตไปยัง stdout หากไดเร็กทอรีถูกส่งไปยัง --outdir เอาต์พุตจะถูกบันทึกเป็นไฟล์. .npy ตั้งชื่อตามคีย์เทนเซอร์เอาต์พุตภายใต้ไดเร็กทอรีที่กำหนด

ใช้ --overwrite เขียนทับไฟล์ที่ส่งออกที่มีอยู่