GpuDelegateFactory.Options

classe statica pubblica GpuDelegateFactory.Options
Sottoclassi dirette conosciute

Opzioni del delegato.

Classi nidificate

enum GpuDelegateFactory.Options.GpuBackend Quale backend GPU selezionare.

Costanti

int INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER Il delegato verrà utilizzato solo una volta, pertanto è necessario tenere conto del tempo di bootstrap/init.
int INFERENCE_PREFERENCE_SUSTAINED_SPEED Preferisci massimizzare il throughput.

Costruttori pubblici

Opzioni ()

Metodi pubblici

booleano
GpuDelegateFactory.Options.GpuBackend
int
Corda
Corda
booleano
GpuDelegateFactory.Options
setForceBackend ( GpuDelegateFactory.Options.GpuBackend forceBackend)
Imposta il backend GPU.
GpuDelegateFactory.Options
setInferencePreference (preferenza int)
Imposta la preferenza di inferenza per i compromessi precisione/compilazione/runtime.
GpuDelegateFactory.Options
setPrecisionLossAllowed (precisionLossAllowed booleano)
Imposta se è consentita la perdita di precisione.
GpuDelegateFactory.Options
setQuantizedModelsAllowed (booleano quantizedModelsAllowed)
Abilita l'esecuzione di modelli quantizzati con il delegato.
GpuDelegateFactory.Options
setSerializationParams ( String serializationDir, String modelToken)
Abilita la serializzazione sul delegato.

Metodi ereditati

Costanti

public static final int INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER

Il delegato verrà utilizzato solo una volta, pertanto è necessario tenere conto del tempo di bootstrap/init.

Valore costante: 0

public static final int INFERENCE_PREFERENCE_SUSTAINED_SPEED

Preferisci massimizzare il throughput. Lo stesso delegato verrà utilizzato ripetutamente su più input.

Valore costante: 1

Costruttori pubblici

Opzioni pubbliche ()

Metodi pubblici

booleano pubblico areQuantizedModelsAllowed ()

pubblico GpuDelegateFactory.Options.GpuBackend getForceBackend ()

public int getInferencePreference ()

stringa pubblica getModelToken ()

public String getSerializationDir ()

booleano pubblico isPrecisionLossAllowed ()

public GpuDelegateFactory.Options setForceBackend ( GpuDelegateFactory.Options.GpuBackend forceBackend)

Imposta il backend GPU.

Parametri
forceBackend

public GpuDelegateFactory.Options setInferencePreference (preferenza int)

Imposta la preferenza di inferenza per i compromessi precisione/compilazione/runtime.

Parametri
preferenza Uno tra "INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER" (predefinito), "INFERENCE_PREFERENCE_SUSTAINED_SPEED".

public GpuDelegateFactory.Options setPrecisionLossAllowed (precisionLossAllowed booleano)

Imposta se è consentita la perdita di precisione.

Parametri
precisionePerditaConsentita Se "true" (impostazione predefinita), la GPU può quantificare tensori, valori downcast e processi in FP16. Quando è "falso", i calcoli vengono eseguiti in virgola mobile a 32 bit.

public GpuDelegateFactory.Options setQuantizedModelsAllowed (booleano quantizedModelsAllowed)

Abilita l'esecuzione di modelli quantizzati con il delegato.

ATTENZIONE: questa è un'API sperimentale e soggetta a modifiche.

Parametri
quantizedModelsAllowed Quando true (impostazione predefinita), la GPU può eseguire modelli quantizzati.

public GpuDelegateFactory.Options setSerializationParams ( String serializationDir, String modelToken)

Abilita la serializzazione sul delegato. Nota serializationDir e modelToken non nulli sono necessari per la serializzazione.

ATTENZIONE: questa è un'API sperimentale e soggetta a modifiche.

Parametri
serializzazioneDir La directory da utilizzare per archiviare i dati. Il chiamante è responsabile di garantire che il modello non sia archiviato in una directory pubblica. Si consiglia di utilizzare Context.getCodeCacheDir() per fornire una posizione privata per l'applicazione su Android.
modelloToken Il token da utilizzare per identificare il modello. Il chiamante è responsabile di garantire che il token sia univoco per il grafico e i dati del modello.