tensorflow ::サービング:: ResourceUnsafeLoader

#include <loader.h>

ローダのリソースを忘れています。

概要

そのEstimateResources()メソッドの戻り0は、効果的に機能するシステムでリソースベースの安全性チェックを無効にします。

実験的、またはリソースの安全性チェックを必要としない環境で実行しているローダーは、サブクラス化することができますResourceUnsafeLoaderの代わりに、ローダーを

継承

:から継承tensorflow ::提供::ローダー

公の行事

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
servableが使用するリソースを見積もります。

公の行事

EstimateResources

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

servableが使用するリソースを見積もります。

重要:このメソッドの実装は、次の要件に従う必要があります。これにより、サービングシステムは、どのサーバブルを安全にロードできるかについて正しく推論できます。

  1. 見積もりは、実際の値の上限を表す必要があります。
  2. ロード前の見積もりには、特定のデバイスインスタンスにバインドされていないリソース(2つのGPUのいずれかのRAMなど)が含まれる場合があります。
  3. ロード中、複数のインスタンス(2つのGPUなど)を持つデバイスの場合、見積もりでは、各リソースがバインドされているインスタンスを指定する必要があります。
  4. 推定値は単調に増加しない必要があります。つまり、時間の経過とともに増加することはできません。時間の経過とともに減少する可能性がある理由戻り値
    サーバブルがロードされた後に消費するリソースの見積もり。 servableがすでにロードされている場合は、実際のリソース使用量の見積もりを返します。