텐서플로:: 피복재:: ResourceUnsafeLoader

#include <loader.h>

로더 자원에 대한 망각이다.

요약

그 EstimateResources () 메소드가 복귀 0, 따라서 효과적으로 제공 시스템에서 자원 기반 안전 검사를 중지.

실험, 또는 자원 안전 검사를 필요로하지 않는 환경에서 실행됩니다 로더는 하위 클래스 ResourceUnsafeLoader 대신 로더 .

계승

에서 상속 : tensorflow는 :: 제공 :: 로더

공공 기능

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
servable이 사용할 리소스를 추정합니다.

공공 기능

자원 추정

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

servable이 사용할 리소스를 추정합니다.

중요: 이 메소드의 구현은 다음 요구 사항을 따라야 하며, 이를 통해 서빙 시스템이 안전하게 로드할 수 있는 서빙을 올바르게 추론할 수 있습니다.

  1. 추정치는 실제 값의 상한을 나타내야 합니다.
  2. 로드 전 추정에는 두 GPU 중 하나의 RAM과 같은 특정 장치 인스턴스에 바인딩되지 않은 리소스가 포함될 수 있습니다.
  3. 로드되는 동안 여러 인스턴스(예: 2개의 GPU)가 있는 장치의 경우 추정치는 각 리소스가 바인딩되는 인스턴스를 지정해야 합니다.
  4. 추정치는 단조 증가하지 않아야 합니다. 즉, 시간이 지남에 따라 증가할 수 없습니다. 시간이 지남에 따라 잠재적으로 감소하는 이유 보고
    로드된 서빙 가능 리소스가 소비할 리소스의 추정치입니다. servable이 이미 로드된 경우 실제 리소스 사용량의 추정치를 반환합니다.