เทนเซอร์โฟลว์:: เสิร์ฟ:: ผู้จัดการเวอร์ชัน Aspired:: ตัวเลือก

#include <aspired_versions_manager.h>

ตัวเลือกการกำหนดค่าและวัตถุ pluggable ที่จะถูกนำมาใช้โดย AspiredVersionsManager

สรุป

คุณลักษณะสาธารณะ

aspired_version_policy
std::unique_ptr< AspiredVersionPolicy >
AspiredVersionPolicy ที่จะใช้สำหรับผู้จัดการ ต้องไม่เป็นโมฆะ
env = Env::Default()
Env *
สภาวะแวดล้อมที่จะใช้สำหรับการเริ่มเธรดใน thread-pool หรือสำหรับ sleep
flush_filesystem_caches = false
bool
load_retry_interval_micros = 1LL * 60 * 1000 * 1000
int64
ช่วงเวลาในหน่วยไมโครวินาที ระหว่างการลองโหลดที่แสดงซ้ำได้แต่ละครั้ง
manage_state_interval_micros = 100 * 1000
int64
ช่วงเวลาในหน่วยไมโครวินาทีของเธรดที่จัดการสถานะของเซิร์ฟเวอร์
max_num_load_retries = 5
uint32
จำนวนครั้งสูงสุดที่เราลองโหลดเซิร์ฟเวอร์ได้อีกครั้ง หลังจากความล้มเหลวครั้งแรก ก่อนที่เราจะยอมแพ้
num_load_threads = 0
uint32
จำนวนเธรดใน thread-pool ที่ใช้โหลด servables
num_unload_threads = 0
uint32
จำนวนเธรดใน thread-pool ที่ใช้ในการยกเลิกการโหลด servables
pre_load_hook
PreLoadHook
เรียกกลับก่อนที่จะโหลดให้บริการ
resource_tracker
std::unique_ptr< ResourceTracker >
ตัวติดตามทรัพยากรที่จะใช้ในขณะที่จัดการทรัพยากรที่สามารถให้บริการได้
servable_event_bus = nullptr
EventBus< ServableState > *
EventBus เพื่อเผยแพร่การเปลี่ยนแปลงสถานะที่ให้บริการ

คุณลักษณะสาธารณะ

aspired_version_policy

std::unique_ptr< AspiredVersionPolicy > tensorflow::serving::AspiredVersionsManager::Options::aspired_version_policy

AspiredVersionPolicy ที่จะใช้สำหรับผู้จัดการ ต้องไม่เป็นโมฆะ

สิ่งแวดล้อม

Env * tensorflow::serving::AspiredVersionsManager::Options::env = Env::Default()

สภาวะแวดล้อมที่จะใช้สำหรับการเริ่มเธรดใน thread-pool หรือสำหรับ sleep

flush_filesystem_caches

bool tensorflow::serving::AspiredVersionsManager::Options::flush_filesystem_caches = false

load_retry_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::load_retry_interval_micros = 1LL * 60 * 1000 * 1000

ช่วงเวลาในหน่วยไมโครวินาที ระหว่างการลองโหลดที่แสดงซ้ำได้แต่ละครั้ง

หากตั้งค่าเป็นลบ เราไม่รอ ค่าเริ่มต้น: 1 นาที

จัดการ_state_interval_micros

int64 tensorflow::serving::AspiredVersionsManager::Options::manage_state_interval_micros = 100 * 1000

ช่วงเวลาในหน่วยไมโครวินาทีของเธรดที่จัดการสถานะของเซิร์ฟเวอร์

ค่าเริ่มต้น: 100 มิลลิวินาที หากตั้งค่านี้น้อยกว่าหรือเท่ากับ 0 เราจะไม่เรียกใช้เธรดนี้เลย

max_num_load_retry

uint32 tensorflow::serving::AspiredVersionsManager::Options::max_num_load_retries = 5

จำนวนครั้งสูงสุดที่เราลองโหลดเซิร์ฟเวอร์ได้อีกครั้ง หลังจากความล้มเหลวครั้งแรก ก่อนที่เราจะยอมแพ้

num_load_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_load_threads = 0

จำนวนเธรดใน thread-pool ที่ใช้โหลด servables

หากตั้งค่าเป็น 0 เราจะไม่ใช้ thread-pool และโหลดที่ให้บริการได้จะดำเนินการตามลำดับในลูปงานหลักของผู้จัดการ

num_unload_threads

uint32 tensorflow::serving::AspiredVersionsManager::Options::num_unload_threads = 0

จำนวนเธรดใน thread-pool ที่ใช้ในการยกเลิกการโหลด servables

หากตั้งค่าเป็น 0 เราจะไม่ใช้ thread-pool และการยกเลิกการโหลดที่ให้บริการได้จะดำเนินการตามลำดับในลูปงานหลักของผู้จัดการ

pre_load_hook

PreLoadHook tensorflow::serving::AspiredVersionsManager::Options::pre_load_hook

เรียกกลับก่อนที่จะโหลดให้บริการ

สิ่งนี้จะเรียกบนเธรดการโหลดตัวจัดการเดียวกันซึ่งเริ่มการโหลด

resource_tracker

std::unique_ptr< ResourceTracker > tensorflow::serving::AspiredVersionsManager::Options::resource_tracker

ตัวติดตามทรัพยากรที่จะใช้ในขณะที่จัดการทรัพยากรที่สามารถให้บริการได้

ไม่จำเป็น. หากปล่อยให้เป็น nullptr เราจะไม่ตรวจสอบการใช้ทรัพยากรที่แสดงผลได้

servable_event_bus

EventBus< ServableState > * tensorflow::serving::AspiredVersionsManager::Options::servable_event_bus = nullptr

EventBus เพื่อเผยแพร่การเปลี่ยนแปลงสถานะที่ให้บริการ

ซึ่งเป็นทางเลือก หากไม่ได้ตั้งค่า เราจะไม่เผยแพร่