tensorflow :: servindo :: ServerCore

#include <server_core.h>

ServerCore contém métodos estaduais e auxiliares que permitem a construção de ModelServers que suportam múltiplas interfaces.

Resumo

Todas as funcionalidades em ServerCore é independente de quaisquer APIs específicas de domínio e independente de plataformas.

Em termos de estado, ServerCore é inicializado com e retém um estático ModelServerConfig, a partir do qual ele bootstraps um AspiredVersionsManager e estruturas de dados auxiliares para suporte de serviço eficiente.

Interfaces construídos acima ServerCore , por exemplo, as implementações do serviço de RPC, permanecerá sem estado e irá executar todas as pesquisas de servables (modelos) através ServerCore .

Herança

Herda: tensorflow :: servindo :: Gestor

Construtores e Destruidores

~ServerCore ()

Tipos públicos

CustomModelConfigLoader usando
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Uma função que é responsável por instanciar e conectar as fontes personalizadas e adaptadores de fonte necessárias ao gerenciador com base em uma configuração passada (qualquer).
PreLoadHook usando
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator usando
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater usando
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Assinatura de função usada para atualizar o server_request_logger.

Aulas de amigos

test_util::ServerCoreTestAccess
friend class

Funções públicas

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Retorna uma ServableHandle dado um ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Obtém uma lista de todos os IDs de serviço disponíveis, ou seja,
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Grava o log para a solicitação, resposta e metadados específicos, se decidirmos fazer uma amostra e se o log de solicitação foi configurado para o modelo específico.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Atualiza o núcleo do servidor com todos os modelos e fontes por ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Devoluções ServableStateMonitor que pode ser usado para consultar estados veiculáveis.

Funções estáticas públicas

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Cria um ServerCore instância com todos os modelos e fontes pelo ModelServerConfig.

Funções protegidas

ServerCore ( Options options)

Structs

tensorflow :: servindo :: ServerCore :: Opções

Opções para configurar um ServerCore objeto.

Tipos públicos

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Uma função que é responsável por instanciar e conectar as fontes personalizadas e adaptadores de fonte necessárias ao gerenciador com base em uma configuração passada (qualquer).

O padrão esperado é que a propriedade das fontes / adaptadores de fonte criadas pode ser transferida para o gerenciador.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Assinatura de função usada para atualizar o server_request_logger.

Aulas de amigos

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Funções públicas

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Retorna uma ServableHandle dado um ModelSpec.

Retorna erro se nenhum serviço estiver disponível, por exemplo, ainda não carregado, foi desativado / descarregado, etc. Os chamadores podem presumir que um status OK indica um identificador não nulo.

IMPORTANTE: O chamador deve segurar o atendimento apenas por um curto período de tempo, por exemplo, durante uma única solicitação. Segurar uma alça por um longo período de tempo impedirá o carregamento e o descarregamento úteis.

Se 'options_.allow_version_labels == true', reconhece dois rótulos de versão de modelo específicos "estável" e "canário" e os resolve para a menor e maior versão disponível, respectivamente.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Obtém uma lista de todos os IDs de serviço disponíveis, ou seja,

cada um deles pode ser recuperado usando GetServableHandle.

Registro

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Grava o log para a solicitação, resposta e metadados específicos, se decidirmos fazer uma amostra e se o log de solicitação foi configurado para o modelo específico.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Atualiza o núcleo do servidor com todos os modelos e fontes por ModelServerConfig.

Como Create () , aguarda todos os servables configurados estaticamente para ser disponibilizado antes de retornar, e retorna um erro se houver tal modelo deixa de carga. (Não necessariamente espera que os modelos removidos da configuração concluam o descarregamento; isso pode ocorrer de forma assíncrona).

IMPORTANTE: Só é legal chamar este método mais de uma vez se estiver usando ModelConfigList (versus configuração de modelo personalizado).

Predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const

Devoluções ServableStateMonitor que pode ser usado para consultar estados veiculáveis.

~ ServerCore

virtual  ~ServerCore()=default

Funções estáticas públicas

Crio

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Cria um ServerCore instância com todos os modelos e fontes pelo ModelServerConfig.

Para modelos configurados estaticamente com ModelConfigList, espera que eles sejam disponibilizados (ou acerte um erro) para veiculação antes de retornar. Retorna um status de erro se qualquer um desses modelos falhar ao carregar.

Funções protegidas

ServerCore

 ServerCore(
  Options options
)