Dzień Społeczności ML jest 9 listopada! Dołącz do nas na aktualizacje z TensorFlow Jax i więcej Dowiedz się więcej

Interpreter.Options

Klasa Interpreter.Options publiczne statyczny

Klasa opcji do kontrolowania zachowania interpretera w czasie wykonywania.

Konstruktorzy publiczni

Opcje ()

Metody publiczne

Tłumacz.Opcje
addDelegate ( Delegat delegat)
Dodaje Delegate być stosowane podczas tworzenia interpretera.
Tłumacz.Opcje
setAllowBufferHandleOutput (logiczna pozwalają)
Zaawansowane: Ustaw, czy wyjście uchwytu bufora jest dozwolone.
Tłumacz.Opcje
setAllowFp16PrecisionForFp32 (logiczna pozwalają)
Ta metoda jest przestarzała na poziomie API . Wolą używać NnApiDelegate.Options # setAllowFp16 (Boolean enable) .
Tłumacz.Opcje
setCancellable (logiczna pozwalają)
Zaawansowane: Ustaw, czy tłumacza można anulować.
Tłumacz.Opcje
setNumThreads (int) numThreads
Ustawia liczbę wątków, które mają być używane dla operacji obsługujących wielowątkowość.
Tłumacz.Opcje
setUseNNAPI (logiczna useNNAPI)
Ustawia, czy używać interfejsu API NN (jeśli jest dostępny) do wykonywania operacji.
Tłumacz.Opcje
setUseXNNPACK (logiczna useXNNPACK)
Eksperymentalne: Włącz zoptymalizowany zestaw jąder procesora zmiennoprzecinkowego (dostarczonych przez XNNPACK).

Metody odziedziczone

Konstruktorzy publiczni

Opcje publicznego ()

Metody publiczne

publicznego Interpreter.Options addDelegate ( Delegat delegat)

Dodaje Delegate być stosowane podczas tworzenia interpretera.

OSTRZEŻENIE: To jest eksperymentalny interfejs, który może ulec zmianie.

Parametry
delegat

publicznego Interpreter.Options setAllowBufferHandleOutput (logiczna pozwoli)

Zaawansowane: Ustaw, czy wyjście uchwytu bufora jest dozwolone.

Kiedy Delegate obsługuje sprzętową akcelerację, interpreter uczyni dane tensorów wyjściowych dostępny w CPU przyznane buforów tensorowych domyślnie. Jeśli klient może bezpośrednio wykorzystać uchwyt bufora (np. odczytać wyjście z tekstury OpenGL), może ustawić tę flagę na false, unikając kopiowania danych do bufora procesora. Dokumentacja delegata powinna wskazywać, czy jest to obsługiwane i jak można z niego korzystać.

OSTRZEŻENIE: To jest eksperymentalny interfejs, który może ulec zmianie.

Parametry
pozwolić

publicznego Interpreter.Options setAllowFp16PrecisionForFp32 (logiczna pozwoli)

Metoda ta została zaniechana poziomu API.
Wolą używać NnApiDelegate.Options # setAllowFp16 (Boolean enable) .

Określa, czy zezwolić na precyzję float16 dla obliczeń FP32, gdy jest to możliwe. Domyślnie false (nie zezwalaj).

Parametry
pozwolić

publicznego Interpreter.Options setCancellable (logiczna pozwoli)

Zaawansowane: Ustaw, czy tłumacza można anulować.

Parametry
pozwolić

publiczne Interpreter.Options setNumThreads (int numThreads)

Ustawia liczbę wątków, które mają być używane dla operacji obsługujących wielowątkowość.

numThreads powinna być> = 1. Ustawienie numThreads 0 powoduje aby wyłączyć wielowątkowych, co jest równoważne ustawieniu numThreads do 1. Jeżeli nie jest, lub ustawiony na wartość 1, liczba zastosowanych nitek będzie realizacja określone i zależny od platformy.

Parametry
numThreads

publicznego Interpreter.Options setUseNNAPI (logiczna useNNAPI)

Ustawia, czy używać interfejsu API NN (jeśli jest dostępny) do wykonywania operacji. Domyślnie false (wyłączone).

Parametry
użyjNNAPI

publicznego Interpreter.Options setUseXNNPACK (logiczna useXNNPACK)

Eksperymentalne: Włącz zoptymalizowany zestaw jąder procesora zmiennoprzecinkowego (dostarczonych przez XNNPACK).

Włączenie tej flagi umożliwi korzystanie z nowego, wysoce zoptymalizowanego zestawu jąder procesora dostarczonego przez delegata XNNPACK. Obecnie jest to ograniczone do podzbioru operacji zmiennoprzecinkowych. Ostatecznie planujemy włączyć to domyślnie, ponieważ może to zapewnić znaczne korzyści w zakresie wydajności dla wielu klas modeli zmiennoprzecinkowych. Zobacz https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/delegates/xnnpack/README.md, aby uzyskać więcej informacji.

O czym należy pamiętać podczas włączania tej flagi:

  • Czas uruchamiania i czas zmiany rozmiaru może się wydłużyć.
  • Podstawowe zużycie pamięci może wzrosnąć.
  • Może zostać zignorowany, jeśli zastosowano inny delegat (np. NNAPI).
  • Modele skwantowane nie przyniosą żadnych korzyści.

OSTRZEŻENIE: To jest eksperymentalny interfejs, który może ulec zmianie.

Parametry
użyjXNNPACK