tensör akışı:: hizmet veren:: Sunucu Çekirdeği

#include <server_core.h>

ServerCore birden arayüzleri destekleyen ModelServers inşasını sağlayan devlet ve yardımcı yöntemler içerir.

Özet

Tüm işlevselliği ServerCore herhangi bir alan belirli API'leri bağımsız ve platformlar bağımsızdır.

Durum açısından, ServerCore ile başlatılır ve bir bot olan bir statik ModelServerConfig, korur AspiredVersionsManager etkin porsiyon desteklemek ve yardımcı veri yapıları.

Yukarıda inşa Arayüzler ServerCore , örneğin RPC servis uygulamaları, vatansız kalacak ve üzeri servables (modeller) tüm aramaları gerçekleştirecek ServerCore .

Miras

Dan devralır: tensorflow :: hizmet :: Yöneticisi

Yapıcılar ve Yıkıcılar

~ServerCore ()

Genel türler

CustomModelConfigLoader kullanarak
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Geçirilen bir yapılandırmaya (herhangi bir) dayalı olarak gerekli özel kaynakları ve kaynak bağdaştırıcılarını başlatmaktan ve yöneticiye bağlamaktan sorumlu bir işlev.
PreLoadHook kullanarak
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator kullanarak
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater kullanarak
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
server_request_logger'ı güncellemek için kullanılan fonksiyon imzası.

arkadaş sınıfları

test_util::ServerCoreTestAccess
friend class

Kamu işlevleri

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Bir döndürür ServableHandle bir ModelSpec verilen.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Mevcut tüm sunulabilir kimliklerin bir listesini alır, yani
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Örneklemeye karar verirsek ve belirli bir model için istek günlüğü yapılandırılmışsa, belirli istek, yanıt ve meta veriler için günlüğü yazar.
ReloadConfig (const ModelServerConfig & config)
virtual Status
ModelServerConfig'e göre tüm modeller ve kaynaklarla sunucu çekirdeğini günceller.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
İade ServableStateMonitor Sunulabilir durumlarını sorgulamak için kullanılabilir.

Genel statik işlevler

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Bir oluşturur ServerCore ModelServerConfig başına tüm modeller ve kaynaklarıyla örneği.

Korumalı fonksiyonlar

ServerCore ( Options options)

yapılar

tensorflow :: hizmet veren :: ServerCore :: Seçenekler

Seçenekler bir yapılandırma ServerCore nesnesi.

Genel türler

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Geçirilen bir yapılandırmaya (herhangi bir) dayalı olarak gerekli özel kaynakları ve kaynak bağdaştırıcılarını başlatmaktan ve yöneticiye bağlamaktan sorumlu bir işlev.

Beklenen model, oluşturulan kaynakların/kaynak bağdaştırıcılarının sahipliğinin yöneticiye aktarılabilmesidir.

ÖnYükleme Kancası

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerGüncelleyici

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

server_request_logger'ı güncellemek için kullanılan fonksiyon imzası.

arkadaş sınıfları

test_util::ServerCoreTestErişim

friend class test_util::ServerCoreTestAccess

Kamu işlevleri

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Bir döndürür ServableHandle bir ModelSpec verilen.

Böyle bir Sunulabilir mevcut değilse, örneğin henüz yüklenmemişse, sessizleştirilmiş/yüklenmemişse, vb. hata verir. Arayanlar, OK durumunun boş olmayan bir tanıtıcıyı gösterdiğini varsayabilir.

ÖNEMLİ: Arayan, yalnızca kısa bir süre için, örneğin tek bir istek süresi boyunca bir tanıtıcı tutmalıdır. Bir tutamağın uzun süre tutulması servis edilebilir yükleme ve boşaltmayı önleyecektir.

'options_.allow_version_labels==true' ise, "kararlı" ve "canary" olmak üzere iki belirli model sürümü etiketini tanır ve bunları sırasıyla mevcut en küçük ve en büyük sürüme çözümler.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Mevcut tüm sunulabilir kimliklerin bir listesini alır, yani

bunların her biri GetServableHandle kullanılarak alınabilir.

Kayıt

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Örneklemeye karar verirsek ve belirli bir model için istek günlüğü yapılandırılmışsa, belirli istek, yanıt ve meta veriler için günlüğü yazar.

Yapılandırmayı Yeniden Yükle

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

ModelServerConfig'e göre tüm modeller ve kaynaklarla sunucu çekirdeğini günceller.

Gibi ) (oluşturun , tüm statik olarak yapılandırılmış servables bekler dönmeden önce hazır ve iadeler bir hata bu tür bir model yüküne başarısız olursa edilecek. (Konfigürasyondan kaldırılan modellerin yüklemenin bitmesini beklemez; bu eşzamansız olarak gerçekleşebilir.)

ÖNEMLİ: ModelConfigList kullanılıyorsa (özel model yapılandırmasına karşı) bu yöntemi yalnızca bir kereden fazla çağırmak yasaldır.

tahmin_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const

İade ServableStateMonitor Sunulabilir durumlarını sorgulamak için kullanılabilir.

~Sunucu Çekirdeği

virtual  ~ServerCore()=default

Genel statik işlevler

Yaratmak

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Bir oluşturur ServerCore ModelServerConfig başına tüm modeller ve kaynaklarıyla örneği.

ModelConfigList ile statik olarak yapılandırılan modeller için, geri dönmeden önce sunulmak üzere hazır hale getirilmelerini (veya bir hata bulmalarını) bekler. Böyle bir model yüklenemezse bir hata durumu döndürür.

Korumalı fonksiyonlar

Sunucu Çekirdeği

 ServerCore(
  Options options
)