Ajuda a proteger a Grande Barreira de Corais com TensorFlow em Kaggle Junte Desafio

tensorflow :: servindo :: ServerCore

#include <server_core.h>

ServerCore contém métodos de estado e auxiliares que permitem a construção de ModelServers que oferecem suporte a várias interfaces.

Resumo

Todas as funcionalidades do ServerCore são independentes de quaisquer APIs específicas de domínio e independentes de plataformas.

Em termos de estado, o ServerCore é inicializado com e retém um ModelServerConfig estático, a partir do qual inicializa um AspiredVersionsManager e estruturas de dados auxiliares para oferecer suporte a um serviço eficiente.

As interfaces construídas acima do ServerCore , por exemplo, implementações de serviço RPC, permanecerão sem estado e realizarão todas as pesquisas de servables (modelos) via ServerCore .

Herança

Herda de: tensorflow :: serving :: Manager

Construtores e Destruidores

~ServerCore ()

Tipos públicos

CustomModelConfigLoader usando
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Uma função que é responsável por instanciar e conectar as fontes personalizadas e adaptadores de fonte necessárias ao gerenciador com base em uma configuração passada (qualquer).
PreLoadHook usando
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator usando
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater usando
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Assinatura de função usada para atualizar o server_request_logger.

Aulas de amigos

test_util::ServerCoreTestAccess
friend class

Funções públicas

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Retorna um ServableHandle dado um ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Obtém uma lista de todos os IDs de serviço disponíveis, ou seja,
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Grava o log para a solicitação, resposta e metadados específicos, se decidirmos fazer uma amostra e se o log de solicitação foi configurado para o modelo específico.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Atualiza o núcleo do servidor com todos os modelos e fontes por ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Retorna ServableStateMonitor que pode ser usado para consultar estados de serviço.

Funções estáticas públicas

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Cria uma instância ServerCore com todos os modelos e fontes por ModelServerConfig.

Funções protegidas

ServerCore ( Options options)

Structs

tensorflow :: serving :: ServerCore :: Options

Opções para configurar um objeto ServerCore .

Tipos públicos

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Uma função que é responsável por instanciar e conectar as fontes personalizadas e adaptadores de fonte necessárias ao gerenciador com base em uma configuração passada (qualquer).

O padrão esperado é que a propriedade das fontes / adaptadores de fonte criados possa ser transferida para o gerenciador.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Assinatura de função usada para atualizar o server_request_logger.

Aulas de amigos

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Funções públicas

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Retorna um ServableHandle dado um ModelSpec.

Retorna erro se nenhum serviço estiver disponível, por exemplo, ainda não carregado, foi desativado / descarregado, etc. Os chamadores podem assumir que um status OK indica um identificador não nulo.

IMPORTANTE: O chamador deve segurar o atendimento apenas por um curto período de tempo, por exemplo, durante uma única solicitação. Segurar uma alça por um longo período de tempo impedirá o carregamento e o descarregamento úteis.

Se 'options_.allow_version_labels == true', reconhece dois rótulos de versão de modelo específicos "estável" e "canário" e os resolve para a menor e maior versão disponível, respectivamente.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Obtém uma lista de todos os IDs de serviço disponíveis, ou seja,

cada um deles pode ser recuperado usando GetServableHandle.

Registro

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Grava o log para a solicitação, resposta e metadados específicos, se decidirmos fazer uma amostra e se o log de solicitação foi configurado para o modelo específico.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Atualiza o núcleo do servidor com todos os modelos e fontes por ModelServerConfig.

Como Create () , espera que todos os servables configurados estaticamente sejam disponibilizados antes de retornar e retorna um erro se algum desses modelos falhar ao carregar. (Não necessariamente espera que os modelos removidos da configuração concluam o descarregamento; isso pode ocorrer de forma assíncrona).

IMPORTANTE: Só é legal chamar este método mais de uma vez se estiver usando ModelConfigList (versus configuração de modelo personalizado).

Predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

Retorna ServableStateMonitor que pode ser usado para consultar estados de serviço.

~ ServerCore

virtual  ~ServerCore()=default

Funções estáticas públicas

Crio

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Cria uma instância ServerCore com todos os modelos e fontes por ModelServerConfig.

Para modelos configurados estaticamente com ModelConfigList, espera que eles sejam disponibilizados (ou acerte um erro) para veiculação antes de retornar. Retorna um status de erro se algum desses modelos falhar ao carregar.

Funções protegidas

ServerCore

 ServerCore(
  Options options
)