aliran tensor:: porsi:: ServerCore

#include <server_core.h>

ServerCore berisi metode negara dan penolong memungkinkan pembangunan ModelServers yang mendukung beberapa interface.

Ringkasan

Semua fungsi di ServerCore adalah independen dari setiap API spesifik domain dan independen dari platform.

Dalam hal negara, ServerCore diinisialisasi dengan dan mempertahankan statis ModelServerConfig, dari mana ia bootstraps sebuah AspiredVersionsManager dan struktur data tambahan untuk mendukung porsi efisien.

Antarmuka dibangun di atas ServerCore , implementasi layanan RPC misalnya, akan tetap stateless dan akan melakukan semua pencarian dari servables (model) melalui ServerCore .

Warisan

Mewarisi dari: tensorflow :: melayani :: Manajer

Konstruktor dan Destructor

~ServerCore ()

Tipe publik

CustomModelConfigLoader menggunakan
std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)>
Fungsi yang bertanggung jawab untuk membuat instance dan menghubungkan sumber kustom yang diperlukan dan adaptor sumber ke manajer berdasarkan konfigurasi yang diteruskan (apa saja).
PreLoadHook menggunakan
AspiredVersionsManager::PreLoadHook
ServableStateMonitorCreator menggunakan
std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)>
ServerRequestLoggerUpdater menggunakan
std::function< Status(const ModelServerConfig &, ServerRequestLogger *)>
Tanda tangan fungsi yang digunakan untuk memperbarui server_request_logger.

Kelas teman

test_util::ServerCoreTestAccess
friend class

Fungsi publik

GetServableHandle (const ModelSpec & model_spec, ServableHandle < T > *const handle)
Status
Mengembalikan ServableHandle diberi ModelSpec.
ListAvailableServableIds () const override
virtual std::vector< ServableId >
Mendapat daftar semua id yang dapat dilayani, yaitu
Log (const google::protobuf::Message & request, const google::protobuf::Message & response, const LogMetadata & log_metadata)
virtual Status
Menulis log untuk permintaan, respons, dan metadata tertentu, jika kami memutuskan untuk mengambil sampelnya dan jika pencatatan permintaan dikonfigurasi untuk model tertentu.
ReloadConfig (const ModelServerConfig & config)
virtual Status
Memperbarui inti server dengan semua model dan sumber per ModelServerConfig.
predict_response_tensor_serialization_option () const
internal::PredictResponseTensorSerializationOption
servable_state_monitor () const
Pengembalian ServableStateMonitor yang dapat digunakan untuk query negara servable.

Fungsi statis publik

Create ( Options options, std::unique_ptr< ServerCore > *core)
Status
Menciptakan ServerCore misalnya dengan semua model dan sumber per ModelServerConfig.

Fungsi yang dilindungi

ServerCore ( Options options)

Struktur

tensorflow :: melayani :: ServerCore :: Pilihan

Pilihan untuk mengkonfigurasi ServerCore objek.

Tipe publik

CustomModelConfigLoader

std::function< Status(const ::google::protobuf::Any &any, EventBus< ServableState > *event_bus, UniquePtrWithDeps< AspiredVersionsManager > *manager)> CustomModelConfigLoader

Fungsi yang bertanggung jawab untuk membuat instance dan menghubungkan sumber kustom yang diperlukan dan adaptor sumber ke manajer berdasarkan konfigurasi yang diteruskan (apa saja).

Pola yang diharapkan adalah bahwa kepemilikan sumber/adaptor sumber yang dibuat dapat ditransfer ke pengelola.

PraPemuatanHook

AspiredVersionsManager::PreLoadHook PreLoadHook

ServableStateMonitorCreator

std::function< Status(EventBus< ServableState > *event_bus, std::unique_ptr< ServableStateMonitor > *monitor)> ServableStateMonitorCreator

ServerRequestLoggerUpdater

std::function< Status(const ModelServerConfig &, ServerRequestLogger *)> ServerRequestLoggerUpdater

Tanda tangan fungsi yang digunakan untuk memperbarui server_request_logger.

Kelas teman

test_util::ServerCoreTestAccess

friend class test_util::ServerCoreTestAccess

Fungsi publik

DapatkanServableHandle

Status GetServableHandle(
  const ModelSpec & model_spec,
  ServableHandle< T > *const handle
)

Mengembalikan ServableHandle diberi ModelSpec.

Mengembalikan kesalahan jika tidak ada Servable yang tersedia misalnya belum dimuat, telah didiamkan/dibongkar, dll. Penelepon mungkin berasumsi bahwa status OK menunjukkan pegangan non-null.

PENTING: Penelepon hanya boleh memegang pegangan untuk waktu yang singkat, misalnya selama satu permintaan. Memegang pegangan untuk jangka waktu yang lama akan mencegah pemuatan dan pembongkaran yang dapat dilakukan.

Jika 'options_.allow_version_labels==true', mengenali dua label versi model tertentu "stable" dan "canary" dan menyelesaikannya masing-masing ke versi terkecil dan terbesar yang tersedia.

ListAvailableServableIds

virtual std::vector< ServableId > ListAvailableServableIds() const override

Mendapat daftar semua id yang dapat dilayani, yaitu

masing-masing dapat diambil menggunakan GetServableHandle.

Catatan

virtual Status Log(
  const google::protobuf::Message & request,
  const google::protobuf::Message & response,
  const LogMetadata & log_metadata
)

Menulis log untuk permintaan, respons, dan metadata tertentu, jika kami memutuskan untuk mengambil sampelnya dan jika pencatatan permintaan dikonfigurasi untuk model tertentu.

Muat Ulang Konfigurasi

virtual Status ReloadConfig(
  const ModelServerConfig & config
)

Memperbarui inti server dengan semua model dan sumber per ModelServerConfig.

Seperti Buat () , menunggu untuk semua servables statis dikonfigurasi harus dibuat tersedia sebelum kembali, dan kembali kesalahan jika model tersebut gagal untuk beban. (Tidak harus menunggu model dihapus dari konfigurasi untuk menyelesaikan pembongkaran; itu mungkin terjadi secara tidak sinkron.)

PENTING: Memanggil metode ini lebih dari satu kali sah-sah saja jika menggunakan ModelConfigList (dibandingkan konfigurasi model kustom).

prediksi_respons_tensor_serialization_option

internal::PredictResponseTensorSerializationOption predict_response_tensor_serialization_option() const

servable_state_monitor

virtual ServableStateMonitor * servable_state_monitor() const

Pengembalian ServableStateMonitor yang dapat digunakan untuk query negara servable.

~ServerCore

virtual  ~ServerCore()=default

Fungsi statis publik

Membuat

Status Create(
  Options options,
  std::unique_ptr< ServerCore > *core
)

Menciptakan ServerCore misalnya dengan semua model dan sumber per ModelServerConfig.

Untuk model yang dikonfigurasi secara statis dengan ModelConfigList, tunggu sampai tersedia (atau terjadi kesalahan) untuk ditayangkan sebelum kembali. Mengembalikan status kesalahan jika model tersebut gagal dimuat.

Fungsi yang dilindungi

ServerCore

 ServerCore(
  Options options
)