tensorflow :: servindo :: SavedModelBundleFactory

#include <saved_model_bundle_factory.h>

Uma fábrica que cria SavedModelBundles a partir de caminhos de exportação SavedModel ou SessionBundle.

Resumo

As sessões emitidas suportam apenas Run () e, embora não sejam aplicadas, espera-se que o cliente só faça chamadas Run () sem mutação. (Se essa restrição, que adicionamos como medida de segurança, for problemática para seu caso de uso, entre em contato com a equipe do TensorFlow Serving para discutir a desativação.)

Se a configuração chama para envio em lote, as sessões emitidas automaticamente agrupam chamadas Run () nos bastidores, usando um SharedBatchScheduler de propriedade da fábrica. Os threads 'config.num_batch_threads' são compartilhados por todas as instâncias de sessão criadas por esta fábrica. No entanto, cada sessão tem sua própria fila dedicada de tamanho 'config.max_enqueued_batches'.

A fábrica também pode estimar os requisitos de recursos (por exemplo, RAM) de um SavedModelBundle com base no SavedModel (por exemplo, antes de carregar a sessão).

Esta classe é segura para thread.

Funções estáticas públicas

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
Instancia um SavedModelBundleFactory usando uma configuração.

Funções públicas

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Instancia um pacote de um determinado caminho de exportação ou SavedModel.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Instancia um pacote de um determinado caminho de exportação ou SavedModel e os metadados fornecidos.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
Estima os recursos que um pacote SavedModel usará depois de carregado, a partir de seu caminho de exportação.
config () const
const SessionBundleConfig &

Funções estáticas públicas

Crio

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

Instancia um SavedModelBundleFactory usando uma configuração.

Detalhes
Parâmetros
config
Config com opções de inicialização.
factory
Fábrica recém-criada se o Status retornado for OK.

Funções públicas

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Instancia um pacote de um determinado caminho de exportação ou SavedModel.

Detalhes
Parâmetros
path
Caminho para o modelo.
bundle
SavedModelBundle recém-criado se o Status retornado for OK.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Instancia um pacote de um determinado caminho de exportação ou SavedModel e os metadados fornecidos.

Detalhes
Parâmetros
metadata
Metadados a serem associados ao pacote.
path
Caminho para o modelo.
bundle
SavedModelBundle recém-criado se o Status retornado for OK.

EstimateResourceRequirement

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const

Estima os recursos que um pacote SavedModel usará depois de carregado, a partir de seu caminho de exportação.

Detalhes
Parâmetros
path
Caminho para o modelo.
estimate
Estimativas de uso de recursos de saída. Diferentes tipos de recursos (por exemplo, CPU, RAM, etc.) podem ser preenchidos.

config

const SessionBundleConfig & config() const