انضم إلى مجتمع SIG TFX-Addons وساعد في جعل TFX أفضل! انضم إلى SIG TFX-Addons

تينسورفلو :: خدمة:: سيرفركور

#include <server_core.h>

يحتوي ServerCore على أساليب الحالة والمساعد التي تمكن من بناء ModelServers التي تدعم واجهات متعددة.

ملخص

جميع الوظائف في ServerCore مستقلة عن أي واجهات برمجة تطبيقات خاصة بالمجال ومستقلة عن الأنظمة الأساسية.

من حيث الحالة ، تتم تهيئة ServerCore مع ModelServerConfig وتحتفظ به ، والتي من خلالها تقوم بتشغيل AspiredVersionsManager وهياكل البيانات المساعدة لدعم الخدمة الفعالة.

ستظل الواجهات المبنية فوق ServerCore ، مثل تطبيقات خدمة RPC ، بدون حالة وستقوم بإجراء جميع عمليات البحث عن الخوادم (النماذج) عبر ServerCore .

ميراث

يرث من: tensorflow :: serve :: Manager

البنائين والمدمرين

~ServerCore ()

الأنواع العامة

CustomModelConfigLoader استخدام
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي).
PreLoadHook استخدام
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator استخدام
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater استخدام
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
يستخدم توقيع الوظيفة لتحديث server_request_logger.

دروس الأصدقاء

test_util::ServerCoreTestAccess
friend class

الوظائف العامة

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
تُرجع الدالة ServableHandle المحددة في ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، أي
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين.
ReloadConfig (const ModelServerConfig & config)
virtual Status
يحدّث نواة الخادم بجميع النماذج والمصادر حسب ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
إرجاع ServableStateMonitor الذي يمكن استخدامه للاستعلام عن الحالات القابلة للخدمة .

وظائف ثابتة عامة

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
ينشئ مثيل ServerCore مع جميع النماذج والمصادر لكل ModelServerConfig.

وظائف محمية

ServerCore ( Options options)

الهياكل

tensorflow :: serve :: ServerCore :: Options

خيارات لتكوين كائن ServerCore .

الأنواع العامة

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي).

النمط المتوقع هو أنه يمكن نقل ملكية المصادر / محولات المصدر التي تم إنشاؤها إلى المدير.

الخطاف المسبق

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

يستخدم توقيع الوظيفة لتحديث server_request_logger.

دروس الأصدقاء

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

الوظائف العامة

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

تُرجع الدالة ServableHandle المحددة في ModelSpec.

إرجاع الخطأ في حالة عدم توفر مثل هذه الخدمة ، على سبيل المثال لم يتم تحميلها بعد ، أو تم إيقافها / إلغاء تحميلها ، إلخ. قد يفترض المتصلون أن حالة "موافق" تشير إلى مؤشر غير فارغ.

هام: يجب على المتصل التمسك بالمعرف فقط لفترة قصيرة ، على سبيل المثال لمدة طلب واحد. سيمنع إمساك المقبض لفترة طويلة من التحميل والتفريغ القابل للخدمة.

إذا كان 'options_.allow_version_labels == true' ، يتعرف على علامتي إصدار محددين من الطراز "ثابت" و "كناري" ويحلهما إلى أصغر وأكبر إصدار متاح على التوالي.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، أي

يمكن استرداد كل منها باستخدام GetServableHandle.

سجل

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

يحدّث نواة الخادم بجميع النماذج والمصادر حسب ModelServerConfig.

مثل Create () ، ينتظر إتاحة جميع الخوادم المكونة بشكل ثابت قبل الإرجاع ، ويعيد خطأ إذا فشل أي نموذج من هذا القبيل في التحميل. (لا تنتظر بالضرورة النماذج التي تمت إزالتها من التكوين لإنهاء التفريغ ؛ قد يحدث ذلك بشكل غير متزامن.)

هام: من القانوني فقط استدعاء هذه الطريقة أكثر من مرة في حالة استخدام ModelConfigList (مقابل تهيئة النموذج المخصص).

توقع_response_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const 

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const 

إرجاع ServableStateMonitor الذي يمكن استخدامه للاستعلام عن الحالات القابلة للخدمة .

~ سيرفركور

virtual  ~ServerCore()=default

وظائف ثابتة عامة

يخلق

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

ينشئ مثيل ServerCore مع جميع النماذج والمصادر لكل ModelServerConfig.

بالنسبة إلى النماذج التي تم تكوينها بشكل ثابت باستخدام ModelConfigList ، في انتظار إتاحتها (أو حدوث خطأ) للعرض قبل العودة. تُرجع حالة الخطأ إذا فشل تحميل أي نموذج.

وظائف محمية

سيرفركور

 ServerCore(
  Options options
)