flusso tensoriale:: servendo:: ResourceUnsafeLoader
#include <loader.h>
Un caricatore che è ignaro di risorse.
Riepilogo
Le sue EstimateResources () metodo restituisce 0, così efficacemente Disabilitazione dei controlli di sicurezza basate sulle risorse nel sistema di servire.
Caricatori che sono sperimentali, o eseguire in ambienti che non richiedono controlli di sicurezza delle risorse, possono sottoclasse ResourceUnsafeLoader invece di Loader .
Eredità
Eredita da: tensorflow :: :: servire LoaderFunzioni pubbliche | |
---|---|
EstimateResources (ResourceAllocation *estimate) const final | virtual Status Stima le risorse che utilizzerà un server. |
Funzioni pubbliche
Stima Risorse
virtual Status EstimateResources( ResourceAllocation *estimate ) const final
Stima le risorse che utilizzerà un server.
IMPORTANTE: l'implementazione di questo metodo deve rispettare i seguenti requisiti, che consentono al sistema di servizio di ragionare correttamente su quali server possono essere caricati in modo sicuro:
- La stima deve rappresentare un limite superiore al valore effettivo.
- Prima del caricamento, la stima può includere risorse che non sono legate a nessuna specifica istanza del dispositivo, ad esempio la RAM su una delle due GPU.
- Durante il caricamento, per tutti i dispositivi con più istanze (ad es. due GPU), la stima deve specificare l'istanza a cui è associata ciascuna risorsa.
- La stima deve essere monotonicamente non crescente, cioè non può aumentare nel tempo. Motivi per cui potenzialmente diminuiscono nel tempo
ritorna una stima delle risorse che il server consumerà una volta caricato. Se il server è già stato caricato, restituisce una stima dell'utilizzo effettivo delle risorse.