tensorflow :: servindo :: AspiredVersionsManager :: Opções

#include <aspired_versions_manager.h>

Opções de configuração e objetos conectáveis que serão utilizados pelo AspiredVersionsManager .

Resumo

Atributos públicos

aspired_version_policy
std::unique_ptr< AspiredVersionPolicy >
O AspiredVersionPolicy a ser usado para o gerente. Deve ser não nulo.
env = Env::Default()
Env *
O ambiente a ser usado para iniciar threads no pool de threads ou para hibernar.
flush_filesystem_caches = false
bool
load_retry_interval_micros = 1LL * 60 * 1000 * 1000
int64
O intervalo, em microssegundos, entre cada nova tentativa de carregamento de serviço.
manage_state_interval_micros = 100 * 1000
int64
A periodicidade, em microssegundos, do segmento que gerencia o estado dos servables.
max_num_load_retries = 5
uint32
Número máximo de vezes que tentamos carregar novamente um serviço, após a primeira falha, antes de desistir.
num_load_threads = 0
uint32
O número de encadeamentos no pool de encadeamentos usados ​​para carregar servables.
num_unload_threads = 0
uint32
O número de threads no pool de threads usado para descarregar servables.
pre_load_hook
PreLoadHook
Retorno de chamada a ser chamado antes que um servable seja carregado.
resource_tracker
std::unique_ptr< ResourceTracker >
O rastreador de recursos a ser usado durante o gerenciamento de recursos que podem ser servidos.
servable_event_bus = nullptr
EventBus< ServableState > *
EventBus para publicar mudanças de estado de serviço.

Atributos públicos

aspired_version_policy

std::unique_ptr< AspiredVersionPolicy > tensorflow::serving::AspiredVersionsManager::Options::aspired_version_policy

O AspiredVersionPolicy a ser usado para o gerente. Deve ser não nulo.

env

Env * tensorflow::serving::AspiredVersionsManager::Options::env = Env::Default()

O ambiente a ser usado para iniciar threads no pool de threads ou para hibernar.

flush_filesystem_caches

bool tensorflow::serving::AspiredVersionsManager::Options::flush_filesystem_caches = false

load_retry_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::load_retry_interval_micros = 1LL * 60 * 1000 * 1000

O intervalo, em microssegundos, entre cada nova tentativa de carregamento de serviço.

Se definido como negativo, não esperamos. Padrão: 1 minuto.

manage_state_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::manage_state_interval_micros = 100 * 1000

A periodicidade, em microssegundos, do segmento que gerencia o estado dos servables.

Padrão: 100 milissegundos. Se for definido como menor ou igual a 0, não executamos este thread de forma alguma.

max_num_load_retries

uint32 tensorflow::serving::AspiredVersionsManager::Options::max_num_load_retries = 5

Número máximo de vezes que tentamos carregar novamente um serviço, após a primeira falha, antes de desistir.

num_load_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_load_threads = 0

O número de encadeamentos no pool de encadeamentos usados ​​para carregar servables.

Se definido como 0, não usamos um pool de threads e as cargas de serviço são executadas em série no loop de trabalho principal do gerenciador.

num_unload_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_unload_threads = 0

O número de threads no pool de threads usado para descarregar servables.

Se definido como 0, não usamos um pool de threads e os descarregamentos de serviço são executados em série no loop de trabalho principal do gerenciador.

pre_load_hook

PreLoadHook tensorflow::serving::AspiredVersionsManager::Options::pre_load_hook

Retorno de chamada a ser chamado antes que um servable seja carregado.

Isso será chamado no mesmo encadeamento de carregamento do gerenciador que inicia o carregamento.

resource_tracker

std::unique_ptr< ResourceTracker > tensorflow::serving::AspiredVersionsManager::Options::resource_tracker

O rastreador de recursos a ser usado durante o gerenciamento de recursos que podem ser servidos.

Opcional. Se deixado como nullptr, não validamos o uso de recursos servíveis.

servable_event_bus

EventBus< ServableState > * tensorflow::serving::AspiredVersionsManager::Options::servable_event_bus = nullptr

EventBus para publicar mudanças de estado de serviço.

Isso é opcional; se não for definido, não publicamos.