Unisciti alla community di SIG TFX-Addons e aiutaci a rendere TFX ancora migliore! Iscriviti a SIG TFX-Addons

tensorflow :: servendo:: ResourceUnsafeLoader

#include <loader.h>

Un caricatore che ignora le risorse.

Sommario

Il suo metodo ForecastResources () restituisce 0, disabilitando così efficacemente i controlli di sicurezza basati sulle risorse nel sistema di servizio.

I caricatori sperimentali o eseguiti in ambienti che non richiedono i controlli di sicurezza delle risorse possono sottoclasse ResourceUnsafeLoader invece di Loader .

Eredità

Eredita da: tensorflow :: serving :: Loader

Funzioni pubbliche

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
Stima le risorse che verranno utilizzate da un servable.

Funzioni pubbliche

StimaRisorse

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

Stima le risorse che un servibile utilizzerà.

IMPORTANTE: l'implementazione di questo metodo deve rispettare i seguenti requisiti, che consentono al sistema di pubblicazione di ragionare correttamente su quali servizi possono essere caricati in sicurezza:

  1. La stima deve rappresentare un limite superiore al valore effettivo.
  2. Prima del caricamento, la stima può includere risorse che non sono vincolate a nessuna specifica istanza del dispositivo, ad esempio RAM su una delle due GPU.
  3. Durante il caricamento, per tutti i dispositivi con più istanze (ad esempio due GPU), la stima deve specificare l'istanza a cui è associata ciascuna risorsa.
  4. La stima deve essere monotonicamente non crescente, ovvero non può aumentare nel tempo. I motivi per averlo potenzialmente diminuiscono nel tempo ritorna
    una stima delle risorse che il servable consumerà una volta caricato. Se il servable è già stato caricato, restituisce una stima dell'utilizzo effettivo delle risorse.