Treten Sie der SIG TFX-Addons-Community bei und helfen Sie mit, TFX noch besser zu machen! SIG TFX-Addons beitreten
Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Tensorflow :: Portion:: ServerCore

#include <server_core.h>

ServerCore enthält Status- und Hilfsmethoden, mit denen ModelServer erstellt werden können, die mehrere Schnittstellen unterstützen.

Zusammenfassung

Alle Funktionen in ServerCore sind unabhängig von domänenspezifischen APIs und plattformunabhängig.

In Bezug auf den Status wird ServerCore mit einer statischen ModelServerConfig initialisiert und behält diese bei, von der ein AspiredVersionsManager und zusätzliche Datenstrukturen gebootet werden, um ein effizientes Serving zu unterstützen.

Über ServerCore erstellte Schnittstellen, z. B. RPC-Dienstimplementierungen, bleiben zustandslos und führen alle Suchvorgänge von Servables (Modellen) über ServerCore durch .

Erbe

Erbt von: tensorflow :: Serving :: Manager

Konstruktoren und Destruktoren

~ServerCore ()

Öffentliche Typen

CustomModelConfigLoader mit
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Eine Funktion, die für das Instanziieren und Verbinden der erforderlichen benutzerdefinierten Quellen und Quelladapter mit dem Manager basierend auf einer übergebenen Konfiguration (any) verantwortlich ist.
PreLoadHook mit
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator mit
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater mit
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Funktionssignatur zum Aktualisieren des server_request_logger.

Freund Klassen

test_util::ServerCoreTestAccess
friend class

Öffentliche Funktionen

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Gibt einen ServableHandle mit einer ModelSpec zurück.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Ruft eine Liste aller verfügbaren wartbaren IDs ab, d. H.
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Schreibt das Protokoll für die bestimmte Anforderung, Antwort und Metadaten, wenn wir uns entscheiden, es zu testen, und wenn die Anforderungsprotokollierung für das bestimmte Modell konfiguriert wurde.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Aktualisiert den Serverkern mit allen Modellen und Quellen gemäß ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Gibt ServableStateMonitor zurück , mit dem servable Zustände abgefragt werden können.

Öffentliche statische Funktionen

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Erstellt eine ServerCore- Instanz mit allen Modellen und Quellen gemäß ModelServerConfig.

Geschützte Funktionen

ServerCore ( Options options)

Strukturen

Tensorflow :: Serving :: ServerCore :: Options

Optionen zum Konfigurieren eines ServerCore- Objekts.

Öffentliche Typen

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Eine Funktion, die für das Instanziieren und Verbinden der erforderlichen benutzerdefinierten Quellen und Quelladapter mit dem Manager basierend auf einer übergebenen Konfiguration (any) verantwortlich ist.

Das erwartete Muster ist, dass das Eigentum an den erstellten Quellen / Quelladaptern auf den Manager übertragen werden kann.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Funktionssignatur zum Aktualisieren des server_request_logger.

Freund Klassen

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Öffentliche Funktionen

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Gibt einen ServableHandle mit einer ModelSpec zurück.

Gibt einen Fehler zurück, wenn kein solches Servable verfügbar ist, z. B. noch nicht geladen, stillgelegt / entladen wurde usw. Anrufer können davon ausgehen, dass ein OK-Status ein Nicht-Null-Handle anzeigt.

WICHTIG: Der Anrufer sollte nur für kurze Zeit an einem Handle festhalten, beispielsweise für die Dauer einer einzelnen Anfrage. Wenn Sie einen Griff über einen längeren Zeitraum halten, wird das wartbare Be- und Entladen verhindert.

Wenn 'options_.allow_version_labels == true', werden zwei spezifische Modellversionsbezeichnungen "stabil" und "kanarisch" erkannt und in die kleinste bzw. größte verfügbare Version aufgelöst.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Ruft eine Liste aller verfügbaren wartbaren IDs ab, d. H.

Jedes dieser Elemente kann mit GetServableHandle abgerufen werden.

Log

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Schreibt das Protokoll für die bestimmte Anforderung, Antwort und Metadaten, wenn wir uns entscheiden, es zu testen, und wenn die Anforderungsprotokollierung für das bestimmte Modell konfiguriert wurde.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Aktualisiert den Serverkern mit allen Modellen und Quellen gemäß ModelServerConfig.

Wartet wie Create () darauf , dass alle statisch konfigurierten Servables verfügbar sind, bevor sie zurückgegeben werden, und gibt einen Fehler zurück, wenn ein solches Modell nicht geladen werden kann. (Wartet nicht unbedingt darauf, dass Modelle, die aus der Konfiguration entfernt wurden, entladen werden. Dies kann asynchron erfolgen.)

WICHTIG: Es ist nur zulässig, diese Methode mehrmals aufzurufen, wenn ModelConfigList verwendet wird (im Vergleich zur benutzerdefinierten Modellkonfiguration).

Predict_Response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

Gibt ServableStateMonitor zurück , mit dem servable Zustände abgefragt werden können.

~ ServerCore

virtual  ~ServerCore()=default

Öffentliche statische Funktionen

Erstellen

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Erstellt eine ServerCore- Instanz mit allen Modellen und Quellen gemäß ModelServerConfig.

Warten Sie bei Modellen, die statisch mit ModelConfigList konfiguriert wurden, bis sie zur Bereitstellung verfügbar sind (oder einen Fehler melden), bevor Sie zurückkehren. Gibt einen Fehlerstatus zurück, wenn ein solches Modell nicht geladen werden kann.

Geschützte Funktionen

ServerCore

 ServerCore(
  Options options
)