تينسورفلو :: خدمة:: سيرفركور
#include <server_core.h>
ServerCore يحتوي على طرق الدولة والمساعد تمكين بناء ModelServers التي تدعم واجهات متعددة.
ملخص
كل وظيفة في ServerCore مستقلة عن أي واجهات برمجة التطبيقات الخاصة نطاق ومستقلة من المنصات.
من حيث حالة، ServerCore تتم تهيئة مع ويحتفظ ثابت ModelServerConfig، من الذي يلبس الحذاء و AspiredVersionsManager وهياكل البيانات المساعدة لدعم خدمة فعالة.
واجهات بنيت فوق ServerCore سوف، على سبيل المثال تطبيقات خدمة RPC، تبقى بدون جنسية، وسوف تؤدي كل عمليات البحث من servables (نماذج) عن طريق ServerCore .
ميراث
يرث من: tensorflow :: :: مدير يخدمالبنائين والمدمرين | |
---|---|
~ServerCore () |
الأنواع العامة | |
---|---|
CustomModelConfigLoader | استخدامstd::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي). |
PreLoadHook | استخدامAspiredVersionsManager::PreLoadHook |
ServableStateMonitorCreator | استخدامstd::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> |
ServerRequestLoggerUpdater | استخدامstd::function< Status(const ModelServerConfig &, ServerRequestLogger *)> يستخدم توقيع الوظيفة لتحديث server_request_logger. |
دروس الأصدقاء | |
---|---|
test_util::ServerCoreTestAccess | friend class |
الوظائف العامة | |
---|---|
GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle) | Status إرجاع ServableHandle إعطاء ModelSpec. |
ListAvailableServableIds () const override | virtual std::vector< ServableId > الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، مثل |
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata) | virtual Status يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين. |
ReloadConfig (const ModelServerConfig & config) | virtual Status يحدّث نواة الخادم بكل النماذج والمصادر حسب ModelServerConfig. |
predict_response_tensor_serialization_option () const | internal::PredictResponseTensorSerializationOption |
servable_state_monitor () const | virtual ServableStateMonitor * عودة ServableStateMonitor التي يمكن استخدامها للاستعلام دول قابل للعرض. |
وظائف ثابتة عامة | |
---|---|
Create ( Options options, std::unique_ptr< ServerCore > *core) | Status يخلق ServerCore المثال مع جميع النماذج ومصادر في وModelServerConfig. |
وظائف محمية | |
---|---|
ServerCore ( Options options) |
الهياكل | |
---|---|
tensorflow :: :: خدمة ServerCore :: خيارات | خيارات لتكوين ServerCore الكائن. |
الأنواع العامة
CustomModelConfigLoader
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader
وظيفة مسؤولة عن إنشاء وتوصيل المصادر المخصصة ومحولات المصدر الضرورية بالمدير استنادًا إلى التهيئة التي تم تمريرها (أي).
النمط المتوقع هو أنه يمكن نقل ملكية المصادر / محولات المصدر التي تم إنشاؤها إلى المدير.
الخطاف المسبق
AspiredVersionsManager::PreLoadHook PreLoadHook
ServableStateMonitorCreator
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator
ServerRequestLoggerUpdater
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater
يستخدم توقيع الوظيفة لتحديث server_request_logger.
دروس الأصدقاء
test_util :: ServerCoreTestAccess
friend class test_util::ServerCoreTestAccess
الوظائف العامة
GetServableHandle
Status GetServableHandle( const ModelSpec & model_spec, ServableHandle< T > *const handle )
إرجاع ServableHandle إعطاء ModelSpec.
إرجاع الخطأ في حالة عدم توفر مثل هذه الخدمة ، على سبيل المثال لم يتم تحميلها بعد ، أو تم إيقافها / إلغاء تحميلها ، وما إلى ذلك. قد يفترض المتصلون أن حالة "موافق" تشير إلى مؤشر غير فارغ.
هام: يجب على المتصل التمسك بالمعرف فقط لفترة قصيرة ، على سبيل المثال لمدة طلب واحد. سيمنع إمساك المقبض لفترة طويلة من التحميل والتفريغ القابل للخدمة.
إذا كان 'options_.allow_version_labels == true' ، يتعرف على علامتي إصدار محددين من الطراز "ثابت" و "كناري" ويحلهما إلى أصغر وأكبر إصدار متاح ، على التوالي.
ListAvailableServableIds
virtual std::vector< ServableId > ListAvailableServableIds() const override
الحصول على قائمة بجميع المعرفات الصالحة للخدمة ، مثل
يمكن استرداد كل منها باستخدام GetServableHandle.
سجل
virtual Status Log( const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata )
يكتب السجل للطلب والاستجابة والبيانات الوصفية المعينة ، إذا قررنا أخذ عينة منه وإذا تم تكوين تسجيل الطلب لنموذج معين.
ReloadConfig
virtual Status ReloadConfig( const ModelServerConfig & config )
يحدّث نواة الخادم بكل النماذج والمصادر حسب ModelServerConfig.
مثل خلق () ، ينتظر كل servables تكوين بشكل ثابت إلى أن تتاح قبل أن تعود، وتعود خطأ إذا فشل أي نموذج من هذا القبيل إلى الحمل. (لا تنتظر بالضرورة النماذج التي تمت إزالتها من التكوين لإنهاء التفريغ ؛ قد يحدث ذلك بشكل غير متزامن.)
هام: من القانوني فقط استدعاء هذه الطريقة أكثر من مرة في حالة استخدام ModelConfigList (مقابل تهيئة النموذج المخصص).
التنبؤ_إجابة_المستشعر_خيار_التسلسل
internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const
servable_state_monitor
virtual ServableStateMonitor * servable_state_monitor() const
عودة ServableStateMonitor التي يمكن استخدامها للاستعلام دول قابل للعرض.
~ سيرفركور
virtual ~ServerCore()=default
وظائف ثابتة عامة
يخلق
Status Create( Options options, std::unique_ptr< ServerCore > *core )
يخلق ServerCore المثال مع جميع النماذج ومصادر في وModelServerConfig.
بالنسبة إلى النماذج التي تم تكوينها بشكل ثابت باستخدام ModelConfigList ، في انتظار إتاحتها (أو حدوث خطأ) للعرض قبل العودة. تُرجع حالة الخطأ إذا فشل تحميل أي نموذج.
وظائف محمية
سيرفركور
ServerCore( Options options )
إنّ محتوى هذه الصفحة مرخّص بموجب ترخيص Creative Commons Attribution 4.0 ما لم يُنصّ على خلاف ذلك، ونماذج الرموز مرخّصة بموجب ترخيص Apache 2.0. للاطّلاع على التفاصيل، يُرجى مراجعة سياسات موقع Google Developers. إنّ Java هي علامة تجارية مسجَّلة لشركة Oracle و/أو شركائها التابعين.
تاريخ التعديل الأخير: 2020-08-12 (حسب التوقيت العالمي المتفَّق عليه)