dòng chảy :: phục vụ :: AspedlyVersionsManager :: Tùy chọn

#include <aspired_versions_manager.h>

Tùy chọn cấu hình và các đối tượng pluggable sẽ được sử dụng bởi các AspiredVersionsManager .

Bản tóm tắt

Thuộc tính công cộng

aspired_version_policy
std::unique_ptr< AspiredVersionPolicy >
Các AspiredVersionPolicy để sử dụng cho người quản lý. Phải khác rỗng.
env = Env::Default()
Env *
Môi trường để sử dụng để bắt đầu các luồng trong nhóm luồng hoặc để ngủ.
flush_filesystem_caches = false
bool
load_retry_interval_micros = 1LL * 60 * 1000 * 1000
int64
Khoảng thời gian, tính bằng micro giây, giữa mỗi lần thử lại tải có thể phục vụ.
manage_state_interval_micros = 100 * 1000
int64
Chu kỳ, tính bằng micro giây, của chuỗi quản lý trạng thái của các dịch vụ.
max_num_load_retries = 5
uint32
Số lần tối đa chúng tôi thử tải lại một dịch vụ, sau lần thất bại đầu tiên, trước khi chúng tôi từ bỏ.
num_load_threads = 0
uint32
Số luồng trong nhóm luồng được sử dụng để tải các dịch vụ.
num_unload_threads = 0
uint32
Số luồng trong nhóm luồng được sử dụng để dỡ các dịch vụ.
pre_load_hook
PreLoadHook
Gọi lại sẽ được gọi ngay trước khi một dịch vụ được tải.
resource_tracker
std::unique_ptr< ResourceTracker >
Trình theo dõi tài nguyên để sử dụng trong khi quản lý tài nguyên có thể phục vụ.
servable_event_bus = nullptr
EventBus< ServableState > *
EventBus để xuất bản các thay đổi trạng thái có thể phục vụ.

Thuộc tính công cộng

Aspire_version_policy

std::unique_ptr< AspiredVersionPolicy > tensorflow::serving::AspiredVersionsManager::Options::aspired_version_policy

Các AspiredVersionPolicy để sử dụng cho người quản lý. Phải khác rỗng.

env

Env * tensorflow::serving::AspiredVersionsManager::Options::env = Env::Default()

Môi trường để sử dụng để bắt đầu các luồng trong nhóm luồng hoặc để ngủ.

flush_filesystem_caches

bool tensorflow::serving::AspiredVersionsManager::Options::flush_filesystem_caches = false

load_retry_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::load_retry_interval_micros = 1LL * 60 * 1000 * 1000

Khoảng thời gian, tính bằng micro giây, giữa mỗi lần thử lại tải có thể phục vụ.

Nếu đặt âm, chúng tôi không đợi. Mặc định: 1 phút.

management_state_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::manage_state_interval_micros = 100 * 1000

Chu kỳ, tính bằng micro giây, của chuỗi quản lý trạng thái của các dịch vụ.

Mặc định: 100 mili giây. Nếu giá trị này được đặt nhỏ hơn hoặc bằng 0, chúng tôi hoàn toàn không chạy chuỗi này.

max_num_load_retries

uint32 tensorflow::serving::AspiredVersionsManager::Options::max_num_load_retries = 5

Số lần tối đa chúng tôi thử tải lại một dịch vụ, sau lần thất bại đầu tiên, trước khi chúng tôi từ bỏ.

num_load_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_load_threads = 0

Số luồng trong nhóm luồng được sử dụng để tải các dịch vụ.

Nếu được đặt là 0, chúng tôi không sử dụng nhóm luồng và các tải có thể phục vụ được thực hiện tuần tự trong vòng lặp công việc chính của trình quản lý.

num_unload_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_unload_threads = 0

Số luồng trong nhóm luồng được sử dụng để dỡ các dịch vụ.

Nếu được đặt là 0, chúng tôi không sử dụng nhóm luồng và việc dỡ tải dịch vụ được thực hiện tuần tự trong vòng lặp công việc chính của trình quản lý.

pre_load_hook

PreLoadHook tensorflow::serving::AspiredVersionsManager::Options::pre_load_hook

Gọi lại sẽ được gọi ngay trước khi một dịch vụ được tải.

Điều này sẽ được gọi trên cùng một luồng tải của trình quản lý bắt đầu tải.

resource_tracker

std::unique_ptr< ResourceTracker > tensorflow::serving::AspiredVersionsManager::Options::resource_tracker

Trình theo dõi tài nguyên để sử dụng trong khi quản lý tài nguyên có thể phục vụ.

Không bắt buộc. Nếu để là nullptr, chúng tôi không xác thực việc sử dụng tài nguyên có thể phục vụ.

servable_event_bus

EventBus< ServableState > * tensorflow::serving::AspiredVersionsManager::Options::servable_event_bus = nullptr

EventBus để xuất bản các thay đổi trạng thái có thể phục vụ.

Đây là tùy chọn, nếu không được đặt, chúng tôi sẽ không xuất bản.