Quantize

Contoh Mode MIN_COMBINED

Asumsikan inputnya bertipe float dan memiliki kemungkinan rentang [0.0, 6.0] dan tipe outputnya adalah quint8 ([0, 255]). Nilai min_range dan max_range harus ditentukan sebagai 0,0 dan 6,0. Menghitung dari float ke quint8 akan mengalikan setiap nilai input dengan 255/6 dan dilemparkan ke quint8.

Jika tipe keluarannya adalah qint8 ([-128, 127]), operasi juga akan mengurangi setiap nilai sebesar 128 sebelum transmisi, sehingga rentang nilai sejajar dengan rentang qint8.

Jika modenya adalah 'MIN_FIRST', maka pendekatan ini digunakan:

num_discrete_values = 1 << (# of bits in T)
 range_adjust = num_discrete_values / (num_discrete_values - 1)
 range = (range_max - range_min) * range_adjust
 range_scale = num_discrete_values / range
 quantized = round(input * range_scale) - round(range_min * range_scale) +
   numeric_limits<T>::min()
 quantized = max(quantized, numeric_limits<T>::min())
 quantized = min(quantized, numeric_limits<T>::max())
 

Contoh mode SKALA

Mode `SCALED` cocok dengan pendekatan kuantisasi yang digunakan dalam `QuantizeAndDequantize{V2|V3}`.

Jika modenya adalah `SCALED`, kuantisasi dilakukan dengan mengalikan setiap nilai input dengan scaling_factor. scaling_factor ditentukan dari `min_range` dan `max_range` menjadi sebesar mungkin sehingga rentang dari `min_range` hingga `max_range` dapat diwakili dalam nilai tipe T.

const int min_T = std::numeric_limits<T>::min();
   const int max_T = std::numeric_limits<T>::max();
   const float max_float = std::numeric_limits<float>::max();
 
   const float scale_factor_from_min_side =
       (min_T * min_range > 0) ? min_T / min_range : max_float;
   const float scale_factor_from_max_side =
       (max_T * max_range > 0) ? max_T / max_range : max_float;
 
   const float scale_factor = std::min(scale_factor_from_min_side,
                                       scale_factor_from_max_side);
 

min_range = min_T / scale_factor;
       max_range = max_T / scale_factor;
 

Jadi kita akan mengkuantisasi nilai input dalam rentang (-10, 9,921875) hingga (-128, 127).

Tensor input sekarang dapat dikuantisasi dengan memotong nilai ke rentang `min_range` hingga `max_range`, lalu mengalikannya dengan scale_factor sebagai berikut:

result = round(min(max_range, max(min_range, input)) * scale_factor)
 

atribut rentang_sempit (bool).

Jika benar, kami tidak menggunakan nilai terkuantisasi minimum. yaitu untuk int8 keluaran terkuantisasi, itu akan dibatasi pada kisaran -127..127 bukannya kisaran -128..127 penuh. Ini disediakan untuk kompatibilitas dengan backend inferensi tertentu. (Hanya berlaku untuk mode SCALED)

atribut sumbu (int).

Atribut `sumbu` opsional dapat menentukan indeks dimensi tensor masukan, sehingga rentang kuantisasi akan dihitung dan diterapkan secara terpisah untuk setiap potongan tensor sepanjang dimensi tersebut. Ini berguna untuk kuantisasi per saluran.

Jika sumbu ditentukan, min_range dan max_range

jika `axis`=Tidak ada, kuantisasi per-tensor dilakukan seperti biasa.

atribut sure_minimum_range (float).

Memastikan rentang kuantisasi minimum setidaknya bernilai ini. Nilai default lama untuk ini adalah 0,01, namun sangat disarankan untuk menyetelnya ke 0 untuk penggunaan baru.