flusso tensoriale:: servendo:: ResourceUnsafeLoader

#include <loader.h>

Un caricatore che è ignaro di risorse.

Riepilogo

Le sue EstimateResources () metodo restituisce 0, così efficacemente Disabilitazione dei controlli di sicurezza basate sulle risorse nel sistema di servire.

Caricatori che sono sperimentali, o eseguire in ambienti che non richiedono controlli di sicurezza delle risorse, possono sottoclasse ResourceUnsafeLoader invece di Loader .

Eredità

Eredita da: tensorflow :: :: servire Loader

Funzioni pubbliche

EstimateResources (ResourceAllocation *estimate) const final
virtual Status
Stima le risorse che utilizzerà un server.

Funzioni pubbliche

Stima Risorse

virtual Status EstimateResources(
  ResourceAllocation *estimate
) const final

Stima le risorse che utilizzerà un server.

IMPORTANTE: l'implementazione di questo metodo deve rispettare i seguenti requisiti, che consentono al sistema di servizio di ragionare correttamente su quali server possono essere caricati in modo sicuro:

  1. La stima deve rappresentare un limite superiore al valore effettivo.
  2. Prima del caricamento, la stima può includere risorse che non sono legate a nessuna specifica istanza del dispositivo, ad esempio la RAM su una delle due GPU.
  3. Durante il caricamento, per tutti i dispositivi con più istanze (ad es. due GPU), la stima deve specificare l'istanza a cui è associata ciascuna risorsa.
  4. La stima deve essere monotonicamente non crescente, cioè non può aumentare nel tempo. Motivi per cui potenzialmente diminuiscono nel tempo ritorna
    una stima delle risorse che il server consumerà una volta caricato. Se il server è già stato caricato, restituisce una stima dell'utilizzo effettivo delle risorse.