tensorflow :: ops :: QuantizeV2
#include <array_ops.h>
Kwantyzuj tensor „wejściowy” typu zmiennoprzecinkowego do tensora „wyjściowego” typu „T”.
streszczenie
[min_range, max_range] to liczby zmiennoprzecinkowe skalarne, które określają zakres danych wejściowych. Atrybut „mode” dokładnie określa, które obliczenia są używane do konwersji wartości zmiennoprzecinkowych na ich skwantyzowane odpowiedniki. Atrybut „round_mode” kontroluje, który algorytm zaokrąglania łamania równości jest używany podczas zaokrąglania wartości zmiennoprzecinkowych do ich skwantyzowanych odpowiedników.
W trybie „MIN_COMBINED” każda wartość tensora ulegnie następującym zmianom:
out[i] = (in[i] - min_range) * range(T) / (max_range - min_range) if T == qint8: out[i] -= (range(T) + 1) / 2.0
tutaj range(T) = numeric_limits ::max() - numeric_limits ::min()
range(T) = numeric_limits ::max() - numeric_limits ::min()
range(T) = numeric_limits ::max() - numeric_limits ::min()
Przykład trybu MIN_COMBINED
Załóżmy, że wejście jest typu float i ma możliwy zakres [0,0, 6,0], a typ wyjścia to quint8 ([0, 255]). Wartości min_range i max_range należy określić jako 0,0 i 6,0. Kwantyzacja od float do quint8 pomnoży każdą wartość wejścia przez 255/6 i rzuci na quint8.
Jeśli typ wyjścia to qint8 ([-128, 127]), operacja dodatkowo odejmie każdą wartość o 128 przed rzutowaniem, tak aby zakres wartości był zgodny z zakresem qint8.
Jeśli tryb to „MIN_FIRST”, stosowane jest następujące podejście:
num_discrete_values = 1 << (# of bits in T) range_adjust = num_discrete_values / (num_discrete_values - 1) range = (range_max - range_min) * range_adjust range_scale = num_discrete_values / range quantized = round(input * range_scale) - round(range_min * range_scale) + numeric_limits::min() quantized = max(quantized, numeric_limits ::min()) quantized = min(quantized, numeric_limits ::max())
Największą różnicą między tym a MIN_COMBINED jest to, że minimalny zakres jest najpierw zaokrąglany, zanim zostanie odjęty od zaokrąglonej wartości. Przy MIN_COMBINED wprowadzane jest niewielkie odchylenie, w którym powtarzane iteracje kwantyzacji i dekwantyzacji wprowadzą coraz większy błąd.
Tryb SKALOWANY Przykład
Tryb SCALED
pasuje do metody kwantyzacji używanej w QuantizeAndDequantize{V2|V3}
.
Jeśli tryb jest SCALED
, nie używamy pełnego zakresu typu wyjścia, wybierając najniższą możliwą wartość dla symetrii (np. Zakres wyjściowy to -127 do 127, a nie -128 do 127 dla kwantyzacji 8-bitowej ze znakiem), tak, że 0.0 jest mapowane na 0.
Najpierw znajdujemy zakres wartości w naszym tensorze. Zakres, którego używamy, jest zawsze wyśrodkowany na 0, więc znajdujemy m takie, że
m = max(abs(input_min), abs(input_max))
Nasz zakres tensora wejściowego wynosi wtedy [-m, m]
.
Następnie wybieramy nasze [min_fixed, max_fixed]
kwantyzacji stałoprzecinkowej, [min_fixed, max_fixed]
. Jeśli T jest podpisane, to jest
num_bits = sizeof(T) * 8 [min_fixed, max_fixed] = [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]
W przeciwnym razie, jeśli T jest bez znaku, zakres stałoprzecinkowy wynosi
[min_fixed, max_fixed] = [0, (1 << num_bits) - 1]
Z tego obliczamy współczynnik skalowania, s:
s = (max_fixed - min_fixed) / (2 * m)
Teraz możemy kwantyzować elementy naszego tensora:
result = round(input * s)
Jedną rzeczą, na którą należy zwrócić uwagę, jest to, że operator może nieznacznie dostosować żądane wartości minimalne i maksymalne podczas procesu kwantyzacji, więc zawsze należy używać portów wyjściowych jako zakresu do dalszych obliczeń. Na przykład, jeśli żądane wartości minimalne i maksymalne są bliskie równości, zostaną one oddzielone małą wartością epsilon, aby zapobiec tworzeniu źle uformowanych skwantowanych buforów. W przeciwnym razie możesz skończyć z buforami, w których wszystkie skwantowane wartości są mapowane na tę samą wartość zmiennoprzecinkową, co powoduje problemy dla operacji, które muszą wykonywać na nich dalsze obliczenia.
Argumenty:
- zakres: obiekt Scope
- min_range: minimalna wartość skalarna, jaka może zostać wygenerowana dla wejścia.
- max_range: maksymalna wartość skalarna, jaka może zostać wygenerowana dla wejścia.
Zwroty:
-
Output
wyjściowe: skwantowane dane wygenerowane z wejścia zmiennoprzecinkowego. -
Output
output_min: Rzeczywista minimalna wartość skalarna używana na wyjściu. -
Output
output_max: Rzeczywista maksymalna wartość skalarna użyta na wyjściu.
Konstruktorzy i niszczyciele | |
---|---|
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T) | |
QuantizeV2 (const :: tensorflow::Scope & scope, :: tensorflow::Input input, :: tensorflow::Input min_range, :: tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs) |
Atrybuty publiczne | |
---|---|
operation | |
output | |
output_max | |
output_min |
Publiczne funkcje statyczne | |
---|---|
Mode (StringPiece x) | |
RoundMode (StringPiece x) |
Struktury | |
---|---|
tensorflow :: ops :: QuantizeV2 :: Attrs | Opcjonalne metody ustawiające atrybuty dla QuantizeV2 . |
Atrybuty publiczne
operacja
Operation operation
wynik
::tensorflow::Output output
wyjście_maks
::tensorflow::Output output_max
wyjście_min
::tensorflow::Output output_min
Funkcje publiczne
QuantizeV2
QuantizeV2( const ::tensorflow::Scope & scope, ::tensorflow::Input input, ::tensorflow::Input min_range, ::tensorflow::Input max_range, DataType T )
QuantizeV2
QuantizeV2( const ::tensorflow::Scope & scope, ::tensorflow::Input input, ::tensorflow::Input min_range, ::tensorflow::Input max_range, DataType T, const QuantizeV2::Attrs & attrs )
Publiczne funkcje statyczne
Tryb
Attrs Mode( StringPiece x )
RoundMode
Attrs RoundMode( StringPiece x )