tensorflow ::サービング:: SavedModelBundleFactory

#include <saved_model_bundle_factory.h>

SavedModelまたはSessionBundleエクスポートパスからSavedModelBundlesを作成するファクトリ。

概要

放出されたセッションはRun()のみをサポートし、強制されていませんが、クライアントは非変更のRun()呼び出しのみを行うことが期待されます。 (安全対策として追加したこの制限がユースケースに問題がある場合は、TensorFlowサービングチームに連絡して、無効にすることについて話し合ってください。)

構成がバッチ処理を要求する場合、発行されたセッションは、ファクトリが所有するSharedBatchSchedulerを使用して、舞台裏でRun()呼び出しを自動的にバッチ処理します。 'config.num_batch_threads'スレッドは、このファクトリによって作成されたすべてのセッションインスタンス間で共有されます。ただし、各セッションには、サイズ 'config.max_enqueued_batches'の専用キューがあります。

ファクトリは、SavedModelに基づいて(つまり、セッションをロードする前に)SavedModelBundleのリソース(RAMなど)の要件を見積もることもできます。

このクラスはスレッドセーフです。

パブリック静的関数

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
インスタンス化SavedModelBundleFactory設定を使用します。

公の行事

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
指定されたエクスポートまたはSavedModelパスからバンドルをインスタンス化します。
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
指定されたエクスポートまたはSavedModelパスと指定されたメタデータからバンドルをインスタンス化します。
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
SavedModelバンドルがロードされると、そのエクスポートパスから使用するリソースを見積もります。
config () const
const SessionBundleConfig &

パブリック静的関数

作成

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

インスタンス化SavedModelBundleFactory設定を使用します。

詳細
パラメーター
config
初期化オプションを使用して構成します。
factory
返されたステータスに問題がない場合は、新しく作成されたファクトリ。

公の行事

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

指定されたエクスポートまたはSavedModelパスからバンドルをインスタンス化します。

詳細
パラメーター
path
モデルへのパス。
bundle
返されたステータスに問題がない場合は、新しく作成されたSavedModelBundle。

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

指定されたエクスポートまたはSavedModelパスと指定されたメタデータからバンドルをインスタンス化します。

詳細
パラメーター
metadata
バンドルに関連付けられるメタデータ。
path
モデルへのパス。
bundle
返されたステータスに問題がない場合は、新しく作成されたSavedModelBundle。

EstimateResourceRequirement

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const 

SavedModelバンドルがロードされると、そのエクスポートパスから使用するリソースを見積もります。

詳細
パラメーター
path
モデルへのパス。
estimate
リソース使用量の見積もりを出力します。さまざまな種類のリソース(CPU、RAMなど)が読み込まれる場合があります。

構成

const SessionBundleConfig & config() const