flusso tensoriale:: servendo:: ServerCore

#include <server_core.h>

ServerCore contiene statali e helper metodi che consentano la costruzione di ModelServers che supportano più interfacce.

Riepilogo

Tutte le funzionalità in ServerCore è indipendente da qualsiasi API specifiche di dominio e indipendente da piattaforme.

In termini di stato, ServerCore viene inizializzato con e conserva una statica ModelServerConfig, da cui bootstrap un AspiredVersionsManager e strutture dati ausiliarie per sostenere servizio efficiente.

Interfacce costruite sopra ServerCore , ad esempio implementazioni del servizio RPC, rimarranno stateless e eseguiranno tutte le ricerche di servables (modelli) tramite ServerCore .

Eredità

Eredita da: tensorflow :: :: servire Responsabile

Costruttori e Distruttori

~ServerCore ()

tipi pubblici

CustomModelConfigLoader usando
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Una funzione responsabile dell'istanziazione e della connessione delle sorgenti personalizzate e degli adattatori di origine necessari al gestore in base a una configurazione passata (any).
PreLoadHook usando
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator usando
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater usando
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Firma della funzione utilizzata per aggiornare il server_request_logger.

Classi di amici

test_util::ServerCoreTestAccess
friend class

Funzioni pubbliche

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Restituisce un ServableHandle dato un ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Ottiene un elenco di tutti gli ID utilizzabili disponibili, ad es
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Scrive il log per la richiesta, la risposta e i metadati particolari, se decidiamo di campionarlo e se la registrazione delle richieste è stata configurata per il modello particolare.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Aggiorna il core del server con tutti i modelli e le origini per ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Restituisce ServableStateMonitor che può essere utilizzato per interrogare gli stati pubblicabili.

Funzioni statiche pubbliche

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Crea una ServerCore un'istanza con tutti i modelli e le fonti per la ModelServerConfig.

Funzioni protette

ServerCore ( Options options)

Strutture

tensorflow :: :: servire ServerCore :: Opzioni

Opzioni per la configurazione di un ServerCore oggetto.

tipi pubblici

Caricatore configurazione modello personalizzato

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Una funzione responsabile dell'istanziazione e della connessione delle sorgenti personalizzate e degli adattatori di origine necessari al gestore in base a una configurazione passata (any).

Il modello previsto è che la proprietà delle origini/adattatori di origine creati possa essere trasferita al gestore.

Precaricamento Hook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Firma della funzione utilizzata per aggiornare il server_request_logger.

Classi di amici

test_util::ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Funzioni pubbliche

GetservableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Restituisce un ServableHandle dato un ModelSpec.

Restituisce un errore se nessun Servable è disponibile, ad esempio non ancora caricato, è stato sospeso/scaricato, ecc. I chiamanti possono presumere che uno stato OK indichi un handle non nullo.

IMPORTANTE: il chiamante deve trattenere un handle solo per un breve periodo, ad esempio per la durata di una singola richiesta. Tenere una maniglia per un lungo periodo di tempo impedirà il carico e lo scarico servibili.

Se 'options_.allow_version_labels==true', riconosce due specifiche etichette di versione del modello "stable" e "canary" e le risolve rispettivamente nella versione più piccola e più grande disponibile.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Ottiene un elenco di tutti gli ID utilizzabili disponibili, ad es

ognuno di questi può essere recuperato utilizzando GetServableHandle.

Tronco d'albero

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Scrive il log per la richiesta, la risposta e i metadati particolari, se decidiamo di campionarlo e se la registrazione delle richieste è stata configurata per il modello particolare.

RicaricaConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Aggiorna il core del server con tutti i modelli e le origini per ModelServerConfig.

Come Creare () , attende tutti servables configurati staticamente per essere messi a disposizione prima di tornare, e restituisce un errore se tale modello non riesce a caricare. (Non attende necessariamente che i modelli rimossi dalla configurazione terminino lo scaricamento; ciò potrebbe verificarsi in modo asincrono.)

IMPORTANTE: è consentito chiamare questo metodo più di una volta solo se si utilizza ModelConfigList (rispetto alla configurazione del modello personalizzato).

predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

monitor_stato_servibile

virtual ServableStateMonitor * servable_state_monitor() const

Restituisce ServableStateMonitor che può essere utilizzato per interrogare gli stati pubblicabili.

~ServerCore

virtual  ~ServerCore()=default

Funzioni statiche pubbliche

Creare

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Crea una ServerCore un'istanza con tutti i modelli e le fonti per la ModelServerConfig.

Per i modelli configurati staticamente con ModelConfigList, attende che vengano resi disponibili (o si verifica un errore) per la pubblicazione prima di restituire. Restituisce uno stato di errore se uno di questi modelli non riesce a caricare.

Funzioni protette

ServerCore

 ServerCore(
  Options options
)