тензорный поток :: сервировка :: SavedModelBundleFactory

#include <saved_model_bundle_factory.h>

Фабрика, которая создает SavedModelBundles из путей экспорта SavedModel или SessionBundle.

Резюме

Созданные сеансы поддерживают только Run (), и, хотя это не выполняется принудительно, ожидается, что клиент будет выполнять только неизменяющие вызовы Run (). (Если это ограничение, которое мы добавили в качестве меры безопасности, проблематично для вашего варианта использования, пожалуйста, свяжитесь с командой обслуживания TensorFlow, чтобы обсудить его отключение.)

Если конфигурация требует пакетной обработки, генерируемые сеансы автоматически выполняют пакетные вызовы Run () за кулисами, используя SharedBatchScheduler, принадлежащий фабрике. Потоки config.num_batch_threads используются всеми экземплярами сеанса, созданными этой фабрикой. Однако у каждого сеанса есть собственная выделенная очередь размером config.max_enqueued_batches.

Фабрика также может оценить требования к ресурсам (например, ОЗУ) SavedModelBundle на основе SavedModel (то есть до загрузки сеанса).

Этот класс потокобезопасен.

Публичные статические функции

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
Создает экземпляр SavedModelBundleFactory с помощью конфигурации.

Публичные функции

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Создает пакет из заданного пути экспорта или SavedModel.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
Создает экземпляр пакета из заданного пути экспорта или SavedModel и заданных метаданных.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
Оценивает ресурсы, которые пакет SavedModel будет использовать после загрузки, исходя из пути экспорта.
config () const
const SessionBundleConfig &

Публичные статические функции

Создавать

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

Создает экземпляр SavedModelBundleFactory с помощью конфигурации.

Подробности
Параметры
config
Конфиг с опциями инициализации.
factory
Вновь созданная фабрика, если возвращенный статус - ОК.

Публичные функции

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Создает пакет из заданного пути экспорта или SavedModel.

Подробности
Параметры
path
Путь к модели.
bundle
Недавно созданный SavedModelBundle, если возвращенный статус - ОК.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

Создает экземпляр пакета из заданного пути экспорта или SavedModel и заданных метаданных.

Подробности
Параметры
metadata
Метаданные, которые нужно связать с пакетом.
path
Путь к модели.
bundle
Недавно созданный SavedModelBundle, если возвращенный статус - ОК.

EstimateResourceRequirement

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const

Оценивает ресурсы, которые пакет SavedModel будет использовать после загрузки, исходя из пути экспорта.

Подробности
Параметры
path
Путь к модели.
estimate
Оценка использования выходных ресурсов. Могут быть заполнены различные виды ресурсов (например, ЦП, ОЗУ и т. Д.).

config

const SessionBundleConfig & config() const