tensorflow :: portion:: EnregistréModèleBundleFactory

#include <saved_model_bundle_factory.h>

Une fabrique qui crée des SavedModelBundles à partir des chemins d'exportation SavedModel ou SessionBundle.

Résumé

Les sessions émises ne prennent en charge que Run(), et bien qu'elles ne soient pas appliquées, il est prévu que le client ne fasse que des appels Run() non mutants. (Si cette restriction, que nous avons ajoutée par mesure de sécurité, est problématique pour votre cas d'utilisation, veuillez contacter l'équipe TensorFlow Serving pour discuter de sa désactivation.)

Si la configuration appelle au traitement par lots, les sessions émises par lots automatiquement les appels Run() en arrière-plan, à l'aide d'un SharedBatchScheduler appartenant à l'usine. Les threads 'config.num_batch_threads' sont partagés entre toutes les instances de session créées par cette usine. Cependant, chaque session a sa propre file d'attente dédiée de taille 'config.max_enqueued_batches'.

L'usine peut également estimer les besoins en ressources (par exemple RAM) d'un SavedModelBundle sur la base du SavedModel (c'est-à-dire avant le chargement de la session).

Cette classe est thread-safe.

Fonctions statiques publiques

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
Instancie un SavedModelBundleFactory en utilisant une configuration.

Fonctions publiques

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Instancie un bundle à partir d'un chemin d'exportation ou de SavedModel donné.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Instancie un bundle à partir d'un chemin d'exportation ou de SavedModel donné et des métadonnées données.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
Estime les ressources qu'un bundle SavedModel utilisera une fois chargé, à partir de son chemin d'exportation.
config () const
const SessionBundleConfig &

Fonctions statiques publiques

Créer

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

Instancie un SavedModelBundleFactory en utilisant une configuration.

Des détails
Paramètres
config
Configuration avec options d'initialisation.
factory
Usine nouvellement créée si le statut renvoyé est OK.

Fonctions publiques

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Instancie un bundle à partir d'un chemin d'exportation ou de SavedModel donné.

Des détails
Paramètres
path
Chemin d'accès au modèle.
bundle
SavedModelBundle nouvellement créé si le statut renvoyé est OK.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Instancie un bundle à partir d'un chemin d'exportation ou de SavedModel donné et des métadonnées données.

Des détails
Paramètres
metadata
Métadonnées à associer au bundle.
path
Chemin d'accès au modèle.
bundle
SavedModelBundle nouvellement créé si le statut renvoyé est OK.

EstimerResourceExigence

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const

Estime les ressources qu'un bundle SavedModel utilisera une fois chargé, à partir de son chemin d'exportation.

Des détails
Paramètres
path
Chemin d'accès au modèle.
estimate
Estimations de l'utilisation des ressources de sortie. Différents types de ressources (par exemple, CPU, RAM, etc.) peuvent être remplis.

configuration

const SessionBundleConfig & config() const