تينسورفلو :: خدمة:: سيرفركور

#include <server_core.h>

ServerCore يحتوي على طرق الدولة والمساعد تمكين بناء ModelServers التي تدعم واجهات متعددة.

ملخص

كل وظيفة في ServerCore مستقلة عن أي واجهات برمجة التطبيقات الخاصة نطاق ومستقلة من المنصات.

من حيث حالة، ServerCore تتم تهيئة مع ويحتفظ ثابت ModelServerConfig، من الذي يلبس الحذاء و AspiredVersionsManager وهياكل البيانات المساعدة لدعم خدمة فعالة.

واجهات بنيت فوق ServerCore سوف، على سبيل المثال تطبيقات خدمة RPC، تبقى بدون جنسية، وسوف تؤدي كل عمليات البحث من servables (نماذج) عن طريق ServerCore .

ميراث

يرث من: tensorflow :: :: مدير يخدم

البنائين والمدمرين

~ServerCore ()

الأنواع العامة

CustomModelConfigLoader استخدام
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي).
PreLoadHook استخدام
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator استخدام
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater استخدام
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
يستخدم توقيع الوظيفة لتحديث server_request_logger.

دروس الأصدقاء

test_util::ServerCoreTestAccess
friend class

الوظائف العامة

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
إرجاع ServableHandle إعطاء ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، مثل
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين.
ReloadConfig (const ModelServerConfig & config)
virtual Status
يحدّث نواة الخادم بكل النماذج والمصادر حسب ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
عودة ServableStateMonitor التي يمكن استخدامها للاستعلام دول قابل للعرض.

وظائف ثابتة عامة

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
يخلق ServerCore المثال مع جميع النماذج ومصادر في وModelServerConfig.

وظائف محمية

ServerCore ( Options options)

الهياكل

tensorflow :: :: خدمة ServerCore :: خيارات

خيارات لتكوين ServerCore الكائن.

الأنواع العامة

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي).

النمط المتوقع هو أنه يمكن نقل ملكية المصادر / محولات المصدر التي تم إنشاؤها إلى المدير.

الخطاف المسبق

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

يستخدم توقيع الوظيفة لتحديث server_request_logger.

دروس الأصدقاء

test_util :: ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

الوظائف العامة

GetServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

إرجاع ServableHandle إعطاء ModelSpec.

إرجاع الخطأ في حالة عدم توفر مثل هذه الخدمة ، على سبيل المثال لم يتم تحميلها بعد ، أو تم إيقافها / إلغاء تحميلها ، وما إلى ذلك. قد يفترض المتصلون أن حالة "موافق" تشير إلى مؤشر غير فارغ.

هام: يجب على المتصل التمسك بالمعرف فقط لفترة قصيرة ، على سبيل المثال لمدة طلب واحد. سيمنع إمساك المقبض لفترة طويلة من التحميل والتفريغ القابل للخدمة.

إذا كان 'options_.allow_version_labels == true' ، يتعرف على علامتي إصدار محددين من الطراز "ثابت" و "كناري" ويحلهما إلى أصغر وأكبر إصدار متاح ، على التوالي.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، مثل

يمكن استرداد كل منها باستخدام GetServableHandle.

سجل

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين.

ReloadConfig

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

يحدّث نواة الخادم بكل النماذج والمصادر حسب ModelServerConfig.

مثل خلق () ، ينتظر كل servables تكوين بشكل ثابت إلى أن تتاح قبل أن تعود، وتعود خطأ إذا فشل أي نموذج من هذا القبيل إلى الحمل. (لا تنتظر بالضرورة النماذج التي تمت إزالتها من التكوين لإنهاء التفريغ ؛ قد يحدث ذلك بشكل غير متزامن.)

هام: من القانوني فقط استدعاء هذه الطريقة أكثر من مرة في حالة استخدام ModelConfigList (مقابل تهيئة النموذج المخصص).

التنبؤ_إجابة_المستشعر_خيار_التسلسل

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const

عودة ServableStateMonitor التي يمكن استخدامها للاستعلام دول قابل للعرض.

~ سيرفركور

virtual  ~ServerCore()=default

وظائف ثابتة عامة

يخلق

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

يخلق ServerCore المثال مع جميع النماذج ومصادر في وModelServerConfig.

بالنسبة إلى النماذج التي تم تكوينها بشكل ثابت باستخدام ModelConfigList ، في انتظار إتاحتها (أو حدوث خطأ) للعرض قبل العودة. تُرجع حالة الخطأ إذا فشل تحميل أي نموذج.

وظائف محمية

سيرفركور

 ServerCore(
  Options options
)