przepływ tensorowy:: porcja:: AspiredVersionsManager

#include <aspired_versions_manager.h>

Menedżer, który implementuje docelowa < ładowarki > API, które używa aspirował-wersje wywołań zwrotnych do decydują o servable wersje do załadowania.

Streszczenie

Ten menedżer korzysta również z tego interfejsu API, aby określić, które z nich należy zwolnić: jeśli dana serwowalna wersja jest aktualnie załadowana i została pominięta w wywołaniu wywołania zwrotnego aspirowanych wersji odnoszących się do jej serwowalnego strumienia, ten menedżer interpretuje to pominięcie jako niejawną instrukcję usunięcia wersja. Zobacz poniżej szczegóły.

(Semantyka niejawna odciążania ułatwia bezpaństwowcem Źródło implementacje, w którym dana iteracji Źródło logiki „s po prostu decyduje, które wersje servable powinien być ładowany bez konieczności wiedzieć, co to postanowił w przeszłości).

To sprawia, że menedżer przejścia pomiędzy wersjami servable strumienia wykorzystaniem skonfigurowanego AspiredVersionPolicy . Menedżer preferuje rozładowanie przed załadowaniem, aby zwolnić zasoby na serwerze podczas podejmowania decyzji między przejściami sugerowanymi przez zasady.

Dziedzictwo

Dziedziczy z: tensorflow :: obsługującej :: Managera , docelowa <std :: unique_ptr <ładowarki>>

Konstruktory i destruktory

~AspiredVersionsManager ()

Typy publiczne

PreLoadHook za pomocą
BasicManager::PreLoadHook

Zajęcia z przyjaciółmi

internal::AspiredVersionsManagerTargetImpl
friend class
test_util::AspiredVersionsManagerTestAccess
friend class

Publiczne funkcje statyczne

Create ( Options options, std::unique_ptr< AspiredVersionsManager > *manager)
Status

Funkcje publiczne

GetAspiredVersionsCallback () override
Source < std::unique_ptr< Loader > >::AspiredVersionsCallback
Zwraca wywołanie zwrotne, aby ustawić listę aspirowanych wersji dla określonego strumienia, który można udostępniać, przy użyciu programów ładujących.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Pobiera listę wszystkich dostępnych identyfikatorów serwowalnych, tj.

Struktury

tensorflow :: służąc :: AspiredVersionsManager :: Opcje

Opcje konfiguracyjne i wtykowym obiekty, które będą wykorzystywane przez AspiredVersionsManager .

Typy publiczne

Hak ładowania wstępnego

BasicManager::PreLoadHook PreLoadHook

Zajęcia z przyjaciółmi

wewnętrzne::AspiredVersionsManagerTargetImpl

friend class internal::AspiredVersionsManagerTargetImpl

test_util::AspiredVersionsManagerTestAccess

friend class test_util::AspiredVersionsManagerTestAccess

Publiczne funkcje statyczne

Tworzyć

Status Create(
  Options options,
  std::unique_ptr< AspiredVersionsManager > *manager
)

Funkcje publiczne

GetAspiredVersionsCallback

Source< std::unique_ptr< Loader > >::AspiredVersionsCallback GetAspiredVersionsCallback() override

Zwraca wywołanie zwrotne, aby ustawić listę aspirowanych wersji dla określonego strumienia, który można udostępniać, przy użyciu programów ładujących.

ListaAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Pobiera listę wszystkich dostępnych identyfikatorów serwowalnych, tj.

każdy z nich można pobrać za pomocą GetServableHandle.

~AspiredVersionsManager

 ~AspiredVersionsManager() override