tensorflow:: מָנָה:: ServerCore

#include <server_core.h>

ServerCore מכיל שיטות מדינה עוזר המאפשרות בניית ModelServers התומכים ממשקים מרובים.

סיכום

כל הפונקציונליות ServerCore אינו תלוי בשום APIs ספציפי תחום תלות בסביבה.

מבחינת המדינה, ServerCore מאותחל עם ושומרת סטטי ModelServerConfig, שממנה bootstraps AspiredVersionsManager ומבני נתונים עזרו לתמוך מנה יעילה.

הממשקים הבנויים מעל ServerCore , הטמעות שירות RPC למשל, יישארו חסרי ויבצע את כל חיפושי של servables (מודלים) באמצעות ServerCore .

יְרוּשָׁה

יורש מ: tensorflow :: המשרת :: מנהל

בנאים והורסים

~ServerCore ()

טיפוסים ציבוריים

CustomModelConfigLoader באמצעות
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
פונקציה שאחראית על יצירת מופע וחיבור של המקורות המותאמים אישית ומתאמי המקור הדרושים למנהל בהתבסס על תצורה שעברה (כל).
PreLoadHook באמצעות
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator באמצעות
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater באמצעות
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
חתימת פונקציה המשמשת לעדכון server_request_logger.

חוגי חברים

test_util::ServerCoreTestAccess
friend class

תפקידים ציבוריים

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
מחזירה ServableHandle קיבל ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
מקבל רשימה של כל המזהים הזמינים להגשה, כלומר
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
כותב את היומן עבור הבקשה המסוימת, התגובה והמטא נתונים, אם נחליט לדגום אותו ואם רישום בקשות הוגדר עבור הדגם המסוים.
ReloadConfig (const ModelServerConfig & config)
virtual Status
מעדכן את ליבת השרת עם כל הדגמים והמקורות לפי ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
החזרות ServableStateMonitor כי ניתן להשתמש כדי לבצע שאילתה מדינות servable.

פונקציות סטטיות ציבוריות

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
יוצר ServerCore למשל עם כל הדגמים ומקורות לפי ModelServerConfig.

פונקציות מוגנות

ServerCore ( Options options)

מבנים

tensorflow :: המשרתים :: ServerCore :: אפשרויות

אפשרויות עבור קינפוג ServerCore אובייקט.

טיפוסים ציבוריים

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

פונקציה שאחראית על יצירת מופע וחיבור של המקורות המותאמים אישית ומתאמי המקור הדרושים למנהל בהתבסס על תצורה שעברה (כל).

הדפוס הצפוי הוא שניתן להעביר את הבעלות על המקורות/מתאמי המקור שנוצרו למנהל.

PreLoadHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

חתימת פונקציה המשמשת לעדכון server_request_logger.

חוגי חברים

test_util::ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

תפקידים ציבוריים

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

מחזירה ServableHandle קיבל ModelSpec.

מחזיר שגיאה אם ​​לא ניתן להגשה כזה זמין, למשל עדיין לא נטען, הופסק/פרק, וכו'. המתקשרים עשויים להניח שסטטוס אישור מציין נקודת אחיזה שאינה אפס.

חשוב: על המתקשר להחזיק בידית רק לזמן קצר, למשל למשך בקשה בודדת. החזקת ידית לאורך זמן תמנע טעינה ופריקה שניתן להגיש.

אם 'options_.allow_version_labels==true', מזהה שתי תוויות גרסת דגם ספציפיות "יציב" ו-"canary" ופותר אותן לגרסה הקטנה והגדולה ביותר הזמינה, בהתאמה.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

מקבל רשימה של כל המזהים הזמינים להגשה, כלומר

ניתן לאחזר כל אחד מאלה באמצעות GetServableHandle.

עֵץ

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

כותב את היומן עבור הבקשה המסוימת, התגובה והמטא נתונים, אם נחליט לדגום אותו ואם רישום בקשות הוגדר עבור הדגם המסוים.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

מעדכן את ליבת השרת עם כל הדגמים והמקורות לפי ModelServerConfig.

כמו יצירת () , ומחכה כל servables מוגדרת באופן סטטי על מנת להעמיד לרשות לפני החזרה, וחוזר שגיאה אם כל מודל כזה נכשל עומס. (לא בהכרח ממתין לדגמים שהוסרו מהתצורה כדי לסיים את הפריקה; זה עלול להתרחש באופן אסינכרוני.)

חשוב: זה חוקי רק לקרוא לשיטה זו יותר מפעם אחת אם משתמשים ב-ModelConfigList (לעומת תצורת מודל מותאם אישית).

predict_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

שרת_מצב_מוניטור

virtual ServableStateMonitor * servable_state_monitor() const

החזרות ServableStateMonitor כי ניתן להשתמש כדי לבצע שאילתה מדינות servable.

~ServerCore

virtual  ~ServerCore()=default

פונקציות סטטיות ציבוריות

לִיצוֹר

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

יוצר ServerCore למשל עם כל הדגמים ומקורות לפי ModelServerConfig.

עבור דגמים המוגדרים באופן סטטי עם ModelConfigList, ממתין עד שהם יהיו זמינים (או פגעו בשגיאה) להגשה לפני החזרה. מחזיר סטטוס שגיאה אם ​​דגם כזה לא מצליח להיטען.

פונקציות מוגנות

ServerCore

 ServerCore(
  Options options
)