dòng chảy :: phục vụ :: ResourceUnsafeLoader

#include <loader.h>

Một Loader có nghĩa là không biết gì về nguồn lực.

Bản tóm tắt

Nó EstimateResources () phương pháp trả về 0, do đó hiệu quả vô hiệu hóa kiểm tra an toàn dựa vào tài nguyên trong hệ thống phân phối.

Máy bốc hàng mà tính chất thử nghiệm, hoặc chạy trong môi trường mà không cần phải kiểm tra an toàn tài nguyên, có thể phân lớp ResourceUnsafeLoader thay vì Loader .

Di sản

Inherits từ: tensorflow :: phục vụ :: Loader

Chức năng công cộng

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
Ước tính các tài nguyên mà một dịch vụ sẽ sử dụng.

Chức năng công cộng

Ước tính

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

Ước tính các tài nguyên mà một dịch vụ sẽ sử dụng.

QUAN TRỌNG: Việc triển khai phương pháp này phải tuân theo các yêu cầu sau, cho phép hệ thống phục vụ suy luận chính xác về việc các dịch vụ nào có thể được tải một cách an toàn:

  1. Ước tính phải đại diện cho một giới hạn trên của giá trị thực tế.
  2. Trước khi tải, ước tính có thể bao gồm các tài nguyên không bị ràng buộc với bất kỳ phiên bản thiết bị cụ thể nào, ví dụ: RAM trên một trong hai GPU.
  3. Trong khi được tải, đối với bất kỳ thiết bị nào có nhiều phiên bản (ví dụ: hai GPU), ước tính phải chỉ định phiên bản mà mỗi tài nguyên bị ràng buộc.
  4. Ước tính phải đơn điệu không tăng, tức là nó không thể tăng theo thời gian. Những lý do khiến nó có khả năng giảm theo thời gian Lợi nhuận
    ước tính các tài nguyên mà dịch vụ sẽ sử dụng sau khi tải. Nếu dịch vụ đã được tải, trả về ước tính mức sử dụng tài nguyên thực tế.