aliran tensor:: porsi:: AspiredVersionsManager:: Pilihan

#include <aspired_versions_manager.h>

Opsi-opsi konfigurasi dan benda-benda pluggable yang akan digunakan oleh AspiredVersionsManager .

Ringkasan

Atribut publik

aspired_version_policy
std::unique_ptr< AspiredVersionPolicy >
The AspiredVersionPolicy digunakan untuk manajer. Harus bukan nol.
env = Env::Default()
Env *
Lingkungan yang digunakan untuk memulai utas di kumpulan utas atau untuk tidur.
flush_filesystem_caches = false
bool
load_retry_interval_micros = 1LL * 60 * 1000 * 1000
int64
Interval, dalam mikrodetik, antara setiap percobaan ulang beban yang dapat ditayangkan.
manage_state_interval_micros = 100 * 1000
int64
Periodisitas, dalam mikrodetik, dari utas yang mengelola status servable.
max_num_load_retries = 5
uint32
Jumlah maksimum kali kami mencoba memuat kembali servable, setelah kegagalan pertama, sebelum kami menyerah.
num_load_threads = 0
uint32
Jumlah utas di kumpulan utas yang digunakan untuk memuat servable.
num_unload_threads = 0
uint32
Jumlah utas di kumpulan utas yang digunakan untuk membongkar servable.
pre_load_hook
PreLoadHook
Panggilan balik untuk dipanggil tepat sebelum servable dimuat.
resource_tracker
std::unique_ptr< ResourceTracker >
Pelacak sumber daya untuk digunakan saat mengelola sumber daya yang dapat diservis.
servable_event_bus = nullptr
EventBus< ServableState > *
EventBus untuk memublikasikan perubahan status yang dapat ditayangkan.

Atribut publik

aspired_version_policy

std::unique_ptr< AspiredVersionPolicy > tensorflow::serving::AspiredVersionsManager::Options::aspired_version_policy

The AspiredVersionPolicy digunakan untuk manajer. Harus bukan nol.

env

Env * tensorflow::serving::AspiredVersionsManager::Options::env = Env::Default()

Lingkungan yang digunakan untuk memulai utas di kumpulan utas atau untuk tidur.

flush_filesystem_caches

bool tensorflow::serving::AspiredVersionsManager::Options::flush_filesystem_caches = false

load_retry_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::load_retry_interval_micros = 1LL * 60 * 1000 * 1000

Interval, dalam mikrodetik, antara setiap percobaan ulang beban yang dapat ditayangkan.

Jika diset negatif, kami tidak menunggu. Standar: 1 menit.

kelola_status_interval_mikro

int64 tensorflow::serving::AspiredVersionsManager::Options::manage_state_interval_micros = 100 * 1000

Periodisitas, dalam mikrodetik, dari utas yang mengelola status servable.

Bawaan: 100 milidetik. Jika ini diatur kurang dari atau sama dengan 0, kami tidak menjalankan utas ini sama sekali.

max_num_load_retries

uint32 tensorflow::serving::AspiredVersionsManager::Options::max_num_load_retries = 5

Jumlah maksimum kali kami mencoba memuat kembali servable, setelah kegagalan pertama, sebelum kami menyerah.

jumlah_load_utas

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_load_threads = 0

Jumlah utas di kumpulan utas yang digunakan untuk memuat servable.

Jika ditetapkan sebagai 0, kami tidak menggunakan kumpulan utas, dan beban yang dapat diservis dilakukan secara serial di loop kerja utama manajer.

jumlah_unload_utas

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_unload_threads = 0

Jumlah utas di kumpulan utas yang digunakan untuk membongkar servable.

Jika ditetapkan sebagai 0, kami tidak menggunakan kumpulan utas, dan pembongkaran yang dapat diservis dilakukan secara serial di loop kerja utama manajer.

pra_muat_kait

PreLoadHook tensorflow::serving::AspiredVersionsManager::Options::pre_load_hook

Panggilan balik untuk dipanggil tepat sebelum servable dimuat.

Ini akan memanggil utas pemuatan manajer yang sama yang memulai pemuatan.

sumber_pelacak

std::unique_ptr< ResourceTracker > tensorflow::serving::AspiredVersionsManager::Options::resource_tracker

Pelacak sumber daya untuk digunakan saat mengelola sumber daya yang dapat diservis.

Pilihan. Jika dibiarkan sebagai nullptr, kami tidak memvalidasi penggunaan sumber daya yang dapat diservis.

servable_event_bus

EventBus< ServableState > * tensorflow::serving::AspiredVersionsManager::Options::servable_event_bus = nullptr

EventBus untuk memublikasikan perubahan status yang dapat ditayangkan.

Ini opsional, jika tidak disetel, kami tidak menerbitkan.