dòng chảy :: phục vụ :: SavedModelBundleFactory

#include <saved_model_bundle_factory.h>

Nhà máy tạo SavedModelBundles từ các đường dẫn xuất SavedModel hoặc SessionBundle.

Bản tóm tắt

Các phiên được phát ra chỉ hỗ trợ Run () và mặc dù không được thực thi, nhưng khách hàng sẽ chỉ thực hiện các lệnh gọi Run () không thay đổi. (Nếu hạn chế này, mà chúng tôi đã thêm vào như một biện pháp an toàn, có vấn đề với trường hợp sử dụng của bạn, vui lòng liên hệ với nhóm Phục vụ TensorFlow để thảo luận về việc vô hiệu hóa nó.)

Nếu cấu hình gọi theo lô, các phiên phát ra sẽ tự động thực hiện theo lô các lệnh gọi Run () đằng sau hậu trường, sử dụng SharedBatchScheduler do nhà máy sở hữu. Các luồng 'config.num_batch_threads' được chia sẻ trên tất cả các phiên bản phiên được tạo bởi nhà máy này. Tuy nhiên, mỗi phiên có hàng đợi dành riêng có kích thước 'config.max_enqueued_batches'.

Nhà máy cũng có thể ước tính yêu cầu tài nguyên (ví dụ: RAM) của SavedModelBundle dựa trên SavedModel (tức là trước khi tải phiên).

Lớp này an toàn theo luồng.

Các chức năng tĩnh công khai

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
Instantiates một SavedModelBundleFactory sử dụng một cấu hình.

Chức năng công cộng

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Khởi tạo một nhóm từ một đường dẫn xuất hoặc SavedModel đã cho.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Khởi tạo một gói từ một đường dẫn xuất hoặc SavedModel nhất định và siêu dữ liệu đã cho.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
Ước tính tài nguyên mà gói SavedModel sẽ sử dụng sau khi tải, từ đường dẫn xuất của gói.
config () const
const SessionBundleConfig &

Các chức năng tĩnh công khai

Tạo ra

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

Instantiates một SavedModelBundleFactory sử dụng một cấu hình.

Thông tin chi tiết
Thông số
config
Cấu hình với các tùy chọn khởi tạo.
factory
Nhà máy mới tạo nếu Trạng thái trả về là OK.

Chức năng công cộng

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Khởi tạo một nhóm từ một đường dẫn xuất hoặc SavedModel đã cho.

Thông tin chi tiết
Thông số
path
Đường dẫn đến mô hình.
bundle
SavedModelBundle mới được tạo nếu Trạng thái trả về là OK.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Khởi tạo một gói từ một đường dẫn xuất hoặc SavedModel nhất định và siêu dữ liệu đã cho.

Thông tin chi tiết
Thông số
metadata
Siêu dữ liệu được liên kết với gói.
path
Đường dẫn đến mô hình.
bundle
SavedModelBundle mới được tạo nếu Trạng thái trả về là OK.

Ước tínhResourceRequirement

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const

Ước tính tài nguyên mà gói SavedModel sẽ sử dụng sau khi tải, từ đường dẫn xuất của gói.

Thông tin chi tiết
Thông số
path
Đường dẫn đến mô hình.
estimate
Đầu ra ước tính sử dụng tài nguyên. Các loại tài nguyên khác nhau (ví dụ như CPU, RAM, v.v.) có thể được phổ biến.

cấu hình

const SessionBundleConfig & config() const