เทนเซอร์โฟลว์:: เสิร์ฟ:: ผู้จัดการเวอร์ชัน Aspired:: ตัวเลือก
#include <aspired_versions_manager.h>ตัวเลือกการกำหนดค่าและวัตถุ pluggable ที่จะถูกนำมาใช้โดย AspiredVersionsManager
สรุป
คุณลักษณะสาธารณะ | |
|---|---|
aspired_version_policy | std::unique_ptr< AspiredVersionPolicy > AspiredVersionPolicy ที่จะใช้สำหรับผู้จัดการ ต้องไม่เป็นโมฆะ |
env = Env::Default() | Env * สภาวะแวดล้อมที่จะใช้สำหรับการเริ่มเธรดใน thread-pool หรือสำหรับ sleep |
flush_filesystem_caches = false | bool |
load_retry_interval_micros = 1LL * 60 * 1000 * 1000 | int64 ช่วงเวลาในหน่วยไมโครวินาที ระหว่างการลองโหลดที่แสดงซ้ำได้แต่ละครั้ง |
manage_state_interval_micros = 100 * 1000 | int64 ช่วงเวลาในหน่วยไมโครวินาทีของเธรดที่จัดการสถานะของเซิร์ฟเวอร์ |
max_num_load_retries = 5 | uint32 จำนวนครั้งสูงสุดที่เราลองโหลดเซิร์ฟเวอร์ได้อีกครั้ง หลังจากความล้มเหลวครั้งแรก ก่อนที่เราจะยอมแพ้ |
num_load_threads = 0 | uint32 จำนวนเธรดใน thread-pool ที่ใช้โหลด servables |
num_unload_threads = 0 | uint32 จำนวนเธรดใน thread-pool ที่ใช้ในการยกเลิกการโหลด servables |
pre_load_hook | PreLoadHook เรียกกลับก่อนที่จะโหลดให้บริการ |
resource_tracker | std::unique_ptr< ResourceTracker > ตัวติดตามทรัพยากรที่จะใช้ในขณะที่จัดการทรัพยากรที่สามารถให้บริการได้ |
servable_event_bus = nullptr | EventBus< ServableState > * EventBus เพื่อเผยแพร่การเปลี่ยนแปลงสถานะที่ให้บริการ |
คุณลักษณะสาธารณะ
aspired_version_policy
std::unique_ptr< AspiredVersionPolicy > tensorflow::serving::AspiredVersionsManager::Options::aspired_version_policy
AspiredVersionPolicy ที่จะใช้สำหรับผู้จัดการ ต้องไม่เป็นโมฆะ
สิ่งแวดล้อม
Env * tensorflow::serving::AspiredVersionsManager::Options::env = Env::Default()
สภาวะแวดล้อมที่จะใช้สำหรับการเริ่มเธรดใน thread-pool หรือสำหรับ sleep
flush_filesystem_caches
bool tensorflow::serving::AspiredVersionsManager::Options::flush_filesystem_caches = false
load_retry_interval_micros
int64 tensorflow::serving::AspiredVersionsManager::Options::load_retry_interval_micros = 1LL * 60 * 1000 * 1000
ช่วงเวลาในหน่วยไมโครวินาที ระหว่างการลองโหลดที่แสดงซ้ำได้แต่ละครั้ง
หากตั้งค่าเป็นลบ เราไม่รอ ค่าเริ่มต้น: 1 นาที
จัดการ_state_interval_micros
int64 tensorflow::serving::AspiredVersionsManager::Options::manage_state_interval_micros = 100 * 1000
ช่วงเวลาในหน่วยไมโครวินาทีของเธรดที่จัดการสถานะของเซิร์ฟเวอร์
ค่าเริ่มต้น: 100 มิลลิวินาที หากตั้งค่านี้น้อยกว่าหรือเท่ากับ 0 เราจะไม่เรียกใช้เธรดนี้เลย
max_num_load_retry
uint32 tensorflow::serving::AspiredVersionsManager::Options::max_num_load_retries = 5
จำนวนครั้งสูงสุดที่เราลองโหลดเซิร์ฟเวอร์ได้อีกครั้ง หลังจากความล้มเหลวครั้งแรก ก่อนที่เราจะยอมแพ้
num_load_threads
uint32 tensorflow::serving::AspiredVersionsManager::Options::num_load_threads = 0
จำนวนเธรดใน thread-pool ที่ใช้โหลด servables
หากตั้งค่าเป็น 0 เราจะไม่ใช้ thread-pool และโหลดที่ให้บริการได้จะดำเนินการตามลำดับในลูปงานหลักของผู้จัดการ
num_unload_threads
uint32 tensorflow::serving::AspiredVersionsManager::Options::num_unload_threads = 0
จำนวนเธรดใน thread-pool ที่ใช้ในการยกเลิกการโหลด servables
หากตั้งค่าเป็น 0 เราจะไม่ใช้ thread-pool และการยกเลิกการโหลดที่ให้บริการได้จะดำเนินการตามลำดับในลูปงานหลักของผู้จัดการ
pre_load_hook
PreLoadHook tensorflow::serving::AspiredVersionsManager::Options::pre_load_hook
เรียกกลับก่อนที่จะโหลดให้บริการ
สิ่งนี้จะเรียกบนเธรดการโหลดตัวจัดการเดียวกันซึ่งเริ่มการโหลด
resource_tracker
std::unique_ptr< ResourceTracker > tensorflow::serving::AspiredVersionsManager::Options::resource_tracker
ตัวติดตามทรัพยากรที่จะใช้ในขณะที่จัดการทรัพยากรที่สามารถให้บริการได้
ไม่จำเป็น. หากปล่อยให้เป็น nullptr เราจะไม่ตรวจสอบการใช้ทรัพยากรที่แสดงผลได้
servable_event_bus
EventBus< ServableState > * tensorflow::serving::AspiredVersionsManager::Options::servable_event_bus = nullptr
EventBus เพื่อเผยแพร่การเปลี่ยนแปลงสถานะที่ให้บริการ
ซึ่งเป็นทางเลือก หากไม่ได้ตั้งค่า เราจะไม่เผยแพร่