Unisciti alla community di SIG TFX-Addons e aiutaci a rendere TFX ancora migliore! Iscriviti a SIG TFX-Addons

tensorflow :: servendo:: ServerCore

#include <server_core.h>

ServerCore contiene metodi di stato e di supporto che consentono la creazione di ModelServer che supportano più interfacce.

Sommario

Tutte le funzionalità in ServerCore sono indipendenti da qualsiasi API specifica del dominio e indipendenti dalle piattaforme.

In termini di stato, ServerCore viene inizializzato con e mantiene un ModelServerConfig statico, da cui esegue il bootstrap di un AspiredVersionsManager e di strutture dati ausiliarie per supportare un servizio efficiente.

Le interfacce create sopra ServerCore , ad esempio le implementazioni del servizio RPC, rimarranno senza stato ed eseguiranno tutte le ricerche di servable (modelli) tramite ServerCore .

Eredità

Eredita da: tensorflow :: serving :: Manager

Costruttori e distruttori

~ServerCore ()

Tipi pubblici

CustomModelConfigLoader utilizzando
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Una funzione responsabile della creazione di istanze e della connessione delle sorgenti personalizzate necessarie e degli adattatori di origine al gestore in base a una configurazione passata (any).
PreLoadHook utilizzando
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator utilizzando
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater utilizzando
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Firma della funzione utilizzata per aggiornare server_request_logger.

Classi di amici

test_util::ServerCoreTestAccess
friend class

Funzioni pubbliche

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Restituisce un ServableHandle dato un ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Ottiene un elenco di tutti gli ID pubblicabili disponibili, ad es
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Scrive il log per la richiesta, la risposta e i metadati particolari, se decidiamo di campionarli e se la registrazione delle richieste è stata configurata per il modello particolare.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Aggiorna il server core con tutti i modelli e le origini per ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Restituisce ServableStateMonitor che può essere utilizzato per eseguire query sugli stati servibili.

Funzioni statiche pubbliche

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Crea un'istanza ServerCore con tutti i modelli e le origini per ModelServerConfig.

Funzioni protette

ServerCore ( Options options)

Structs

tensorflow :: serving :: ServerCore :: Opzioni

Opzioni per la configurazione di un oggetto ServerCore .

Tipi pubblici

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Una funzione responsabile della creazione di istanze e della connessione delle sorgenti personalizzate necessarie e degli adattatori sorgente al gestore in base a una configurazione passata (any).

Lo schema previsto è che la proprietà delle origini / adattatori di origine creati possa essere trasferita al gestore.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Firma della funzione utilizzata per aggiornare server_request_logger.

Classi di amici

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Funzioni pubbliche

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Restituisce un ServableHandle dato un ModelSpec.

Restituisce un errore se non è disponibile alcun Servable di questo tipo, ad esempio non ancora caricato, è stato disattivato / scaricato, ecc. I chiamanti possono presumere che uno stato OK indichi un handle non nullo.

IMPORTANTE: il chiamante deve tenere una maniglia solo per un breve periodo, ad esempio per la durata di una singola richiesta. Tenere una maniglia per un lungo periodo di tempo impedirà il carico e lo scarico utilizzabile.

Se 'options_.allow_version_labels == true', riconosce due specifiche etichette di versione del modello "stabile" e "canarino" e le risolve rispettivamente nella versione più piccola e più grande disponibile.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Ottiene un elenco di tutti gli ID pubblicabili disponibili, ad es

ognuno di questi può essere recuperato utilizzando GetServableHandle.

Log

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Scrive il log per la richiesta, la risposta e i metadati particolari, se decidiamo di campionarli e se la registrazione delle richieste è stata configurata per il modello particolare.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Aggiorna il server core con tutti i modelli e le origini per ModelServerConfig.

Come Create () , attende che tutti i servable configurati staticamente siano resi disponibili prima di tornare e restituisce un errore se uno qualsiasi di tali modelli non riesce a caricarsi. (Non attende necessariamente che i modelli rimossi dalla configurazione finiscano lo scaricamento; ciò potrebbe avvenire in modo asincrono.)

IMPORTANTE: è legale chiamare questo metodo più di una volta se si utilizza ModelConfigList (rispetto alla configurazione del modello personalizzato).

Predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

Restituisce ServableStateMonitor che può essere utilizzato per eseguire query sugli stati servibili.

~ ServerCore

virtual  ~ServerCore()=default

Funzioni statiche pubbliche

Creare

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Crea un'istanza ServerCore con tutti i modelli e le origini per ModelServerConfig.

Per i modelli configurati staticamente con ModelConfigList, attende che vengano resi disponibili (o si verifica un errore) per l'elaborazione prima di tornare. Restituisce uno stato di errore se uno qualsiasi di tali modelli non viene caricato.

Funzioni protette

ServerCore

 ServerCore(
  Options options
)