텐서플로:: 피복재:: 저장된 ModelBundleFactory

#include <saved_model_bundle_factory.h>

SavedModel 또는 SessionBundle 내보내기 경로에서 SavedModelBundle을 생성하는 팩토리입니다.

요약

내보낸 세션은 Run()만 지원하며 적용되지는 않지만 클라이언트는 변경되지 않는 Run() 호출만 할 것으로 예상됩니다. (안전 조치로 추가한 이 제한 사항이 사용 사례에 문제가 있는 경우 TensorFlow Serving 팀에 연락하여 비활성화에 대해 논의하세요.)

구성에서 일괄 처리를 호출하면 내보내진 세션은 공장에서 소유한 SharedBatchScheduler를 사용하여 장면 뒤에서 Run() 호출을 자동으로 일괄 처리합니다. 'config.num_batch_threads' 스레드는 이 팩토리에서 생성된 모든 세션 인스턴스에서 공유됩니다. 그러나 각 세션에는 'config.max_enqueued_batches' 크기의 전용 대기열이 있습니다.

공장은 또한 SavedModel을 기반으로 SavedModelBundle의 리소스(예: RAM) 요구 사항을 추정할 수 있습니다(즉, 세션을 로드하기 전).

이 클래스는 스레드로부터 안전합니다.

공개 정적 함수

Create (const SessionBundleConfig & config, std::unique_ptr< SavedModelBundleFactory > *factory)
Status
인스턴스화 SavedModelBundleFactory 설정을 사용합니다.

공공 기능

CreateSavedModelBundle (const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
지정된 내보내기 또는 저장된 모델 경로에서 번들을 인스턴스화합니다.
CreateSavedModelBundleWithMetadata (const Loader::Metadata & metadata, const string & path, std::unique_ptr< SavedModelBundle > *bundle)
Status
지정된 내보내기 또는 저장된 모델 경로 및 지정된 메타데이터에서 번들을 인스턴스화합니다.
EstimateResourceRequirement (const string & path, ResourceAllocation *estimate) const
Status
SavedModel 번들이 로드되면 내보내기 경로에서 사용할 리소스를 추정합니다.
config () const
const SessionBundleConfig &

공개 정적 함수

만들다

Status Create(
  const SessionBundleConfig & config,
  std::unique_ptr< SavedModelBundleFactory > *factory
)

인스턴스화 SavedModelBundleFactory 설정을 사용합니다.

세부
매개변수
config
초기화 옵션을 사용하여 구성합니다.
factory
반환된 상태가 OK인 경우 새로 생성된 공장입니다.

공공 기능

CreateSavedModelBundle

Status CreateSavedModelBundle(
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

지정된 내보내기 또는 저장된 모델 경로에서 번들을 인스턴스화합니다.

세부
매개변수
path
모델에 대한 경로입니다.
bundle
반환된 상태가 OK인 경우 새로 생성된 SavedModelBundle입니다.

CreateSavedModelBundleWithMetadata

Status CreateSavedModelBundleWithMetadata(
  const Loader::Metadata & metadata,
  const string & path,
  std::unique_ptr< SavedModelBundle > *bundle
)

지정된 내보내기 또는 저장된 모델 경로 및 지정된 메타데이터에서 번들을 인스턴스화합니다.

세부
매개변수
metadata
번들과 연결할 메타데이터입니다.
path
모델에 대한 경로입니다.
bundle
반환된 상태가 OK인 경우 새로 생성된 SavedModelBundle입니다.

EstimateResource요구사항

Status EstimateResourceRequirement(
  const string & path,
  ResourceAllocation *estimate
) const

SavedModel 번들이 로드되면 내보내기 경로에서 사용할 리소스를 추정합니다.

세부
매개변수
path
모델에 대한 경로입니다.
estimate
리소스 사용량 추정치를 출력합니다. 다른 종류의 리소스(예: CPU, RAM 등)가 채워질 수 있습니다.

구성

const SessionBundleConfig & config() const