Treten Sie der SIG TFX-Addons-Community bei und helfen Sie mit, TFX noch besser zu machen! SIG TFX-Addons beitreten
Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Tensorflow :: Portion:: AspiredVersionsManager

#include <aspired_versions_manager.h>

Ein Manager, der die Target < Lader > -API implementiert, die Rückrufe von Aspired-Versionen verwendet, um festzulegen, welche wartbaren Versionen geladen werden sollen.

Zusammenfassung

Dieser Manager verwendet diese API auch, um abzuleiten, welche entladen werden sollen: Wenn eine bestimmte servable-Version derzeit geladen ist und in einem Rückrufaufruf für Aspired-Versionen für seinen servable Stream weggelassen wird, interpretiert dieser Manager diese Auslassung als implizite Anweisung zum Entladen der Ausführung. Siehe unten für Details.

(Die impliziten-Entlade - Semantik erleichtert staatenlos Quelle Implementierungen, wodurch eine gegebene Iteration der Quelle ‚s Logik entscheidet einfach , welche Versionen eines servierbaren sollten geladen werden, ohne dass wissen , was es in der Vergangenheit entschieden hat.)

Dieser Manager führt mithilfe einer konfigurierten AspiredVersionPolicy Übergänge zwischen Versionen eines bedienbaren Streams durch. Der Manager bevorzugt das Entladen vor dem Laden, um Ressourcen auf dem Server freizugeben, wenn er sich für die von der Richtlinie vorgeschlagenen Übergänge entscheidet.

Erbe

Erbt von: tensorflow :: Serving :: Manager , Target <std :: unique_ptr <Lader >>

Konstruktoren und Destruktoren

~AspiredVersionsManager ()

Öffentliche Typen

PreLoadHook mit
BasicManager::PreLoadHook

Freund Klassen

internal::AspiredVersionsManagerTargetImpl
friend class
test_util::AspiredVersionsManagerTestAccess
friend class

Öffentliche statische Funktionen

Create ( Options options, std::unique_ptr< AspiredVersionsManager > *manager)
Status

Öffentliche Funktionen

GetAspiredVersionsCallback () override
Source < std::unique_ptr< Loader > >::AspiredVersionsCallback
Gibt einen Rückruf zurück, um die Liste der gewünschten Versionen für einen bestimmten bedienbaren Stream mithilfe von Loadern festzulegen.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Ruft eine Liste aller verfügbaren wartbaren IDs ab, d. H.

Strukturen

Tensorflow :: Serving :: AspiredVersionsManager :: Options

Konfigurationsoptionen und steckbare Objekte, die vom AspiredVersionsManager verwendet werden .

Öffentliche Typen

PreLoadHook

BasicManager::PreLoadHook PreLoadHook

Freund Klassen

internal :: AspiredVersionsManagerTargetImpl

friend class internal::AspiredVersionsManagerTargetImpl

test_util :: AspiredVersionsManagerTestAccess

friend class test_util::AspiredVersionsManagerTestAccess

Öffentliche statische Funktionen

Erstellen

Status Create(
  Options options,
  std::unique_ptr< AspiredVersionsManager > *manager
)

Öffentliche Funktionen

GetAspiredVersionsCallback

Source< std::unique_ptr< Loader > >::AspiredVersionsCallback GetAspiredVersionsCallback() override

Gibt einen Rückruf zurück, um die Liste der gewünschten Versionen für einen bestimmten bedienbaren Stream mithilfe von Loadern festzulegen.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Ruft eine Liste aller verfügbaren wartbaren IDs ab, d. H.

Jedes dieser Elemente kann mit GetServableHandle abgerufen werden.

~ AspiredVersionsManager

 ~AspiredVersionsManager() override