سند زیر مشخصات طرح کوانتیزاسیون 8 بیتی TensorFlow Lite را تشریح می کند. این برای کمک به توسعه دهندگان سخت افزار در ارائه پشتیبانی سخت افزاری برای استنتاج با مدل های کوانتیزه TensorFlow Lite در نظر گرفته شده است.
خلاصه مشخصات
ما در حال ارائه مشخصات هستیم و تنها در صورت رعایت مشخصات می توانیم برخی از ضمانت های رفتار را ارائه دهیم. همچنین می‌دانیم که سخت‌افزارهای مختلف ممکن است اولویت‌ها و محدودیت‌هایی داشته باشند که ممکن است باعث انحرافات جزئی در هنگام پیاده‌سازی مشخصات شوند که منجر به پیاده‌سازی‌هایی می‌شود که کمی دقیق نیستند. در حالی که ممکن است در اکثر موارد قابل قبول باشد (و ما مجموعه ای از تست ها را ارائه خواهیم داد که تا حد دانش ما شامل تحمل به ازای هر عملیات است که از چندین مدل جمع آوری کرده ایم)، ماهیت یادگیری ماشین (و یادگیری عمیق در رایج ترین آنها) مورد) ارائه ضمانت های سخت را غیرممکن می کند.
کوانتیزه سازی 8 بیتی با استفاده از فرمول زیر مقادیر ممیز شناور را تقریب می زند.
\[real\_value = (int8\_value - zero\_point) \times scale\]
میانگین پستها در طول محور (با نام مستعار در هر کانال در عملیات تبدیل) یا هر تانسور وزن ها توسط نمایندگی int8 دو ارزش های مکمل در محدوده [-127, 127] با نقطه صفر را به 0. فعال پستها در طول-تانسور برابر / ورودی ها توسط نمایندگی int8 دو ارزش های مکمل در محدوده [-128, 127] ، با یک نقطه صفر در محدوده [-128, 127] .
استثناهای دیگری برای عملیات خاص وجود دارد که در زیر مستند شده است.
عدد صحیح امضا شده در مقابل عدد صحیح بدون علامت
TensorFlow آرشیو تدریج خواهد شد قالب در درجه اول اولویت بندی و دانه برای int8 تدریج برای 8 بیتی است. این است که برای راحتی از کوانتیزاسیون متقارن که توسط نقطه صفر نشان به 0. علاوه بر این بسیاری از پایانه (Backend) برابر داشته باشند بهینه سازی های اضافی برای int8xint8 تجمع.
هر محور در مقابل هر تانسور
کوانتیزاسیون هر تانسور به این معنی است که در هر تانسور یک مقیاس و/یا نقطه صفر وجود خواهد داشت. میانگین پستها در طول محور یعنی تدریج که وجود خواهد داشت یک مقیاس و / یا zero_point در هر تکه quantized_dimension . بعد کوانتیزه ابعاد شکل تانسور را مشخص می کند که مقیاس ها و نقاط صفر با آن مطابقت دارند. به عنوان مثال، یک تانسور t ، با dims=[4, 3, 2, 1] با پارامترهای تدریج: scale=[1.0, 2.0, 3.0] ، zero_point=[1, 2, 3] ، quantization_dimension=1 خواهد شد در سراسر کوانتیزه بعد دوم از t :
t[:, 0, :, :] will have scale[0]=1.0, zero_point[0]=1
t[:, 1, :, :] will have scale[1]=2.0, zero_point[1]=2
t[:, 2, :, :] will have scale[2]=3.0, zero_point[2]=3
اغلب، quantized_dimension است output_channel از وزن پیچش، اما در تئوری می توان آن را بعد که مربوط به هر نقطه کالا در اجرای کرنل، اجازه می دهد دانه دانه تدریج بیشتر بدون پیامدهای عملکرد. این پیشرفت های زیادی در دقت دارد.
TFLite دارای پشتیبانی از هر محور برای تعداد فزاینده ای از عملیات است. در زمان تهیه این سند، پشتیبانی از Conv2d و DepthwiseConv2d وجود دارد.
متقارن در مقابل نامتقارن
فعال نامتقارن هستند: آنها هر جایی می تواند نقطه صفر خود را در امضا کرده اند int8 وسیعی [-128, 127] . بسیاری از فعال‌سازی‌ها ماهیت نامتقارن دارند و نقطه صفر راهی نسبتاً ارزان برای رسیدن به یک بیت دودویی اضافی از دقت است. از آنجایی که فعال‌سازی‌ها فقط در وزن‌های ثابت ضرب می‌شوند، مقدار ثابت نقطه صفر را می‌توان به شدت بهینه کرد.
وزن ها متقارن هستند: مجبور به داشتن نقطه صفر برابر با 0 هستند. مقادیر وزن در مقادیر ورودی پویا و فعال سازی ضرب می شوند. این بدان معناست که ضرب نقطه صفر وزن با مقدار فعال سازی هزینه زمان اجرا اجتناب ناپذیری دارد. با اعمال نقطه صفر 0 می توانیم از این هزینه جلوگیری کنیم.
شرح ریاضی: این شبیه به بخش 2.3 در آرشیو: 1712.05877 ، به جز این تفاوت که ما اجازه می دهد مقادیر مقیاس در هر محور باشد. این به آسانی به شرح زیر تعمیم می یابد:
\(A\) است \(m \times n\) ماتریس فعال کوانتیده.
\(B\) است \(n \times p\) ماتریس وزن تدریجی.
در نظر بگیرید ضرب \(j\)هفتم ردیف از \(A\)، \(a_j\) توسط \(k\)هفتم ستون\(B\)، \(b_k\)، هر دو از طول \(n\). مقادیر عدد صحیح کوانتیزه شده و صفر امتیاز مقادیر \(q_a\)، \(z_a\) و \(q_b\)، \(z_b\) است.
\[a_j \cdot b_k = \sum_{i=0}^{n} a_{j}^{(i)} b_{k}^{(i)} = \sum_{i=0}^{n} (q_{a}^{(i)} - z_a) (q_{b}^{(i)} - z_b) = \sum_{i=0}^{n} q_{a}^{(i)} q_{b}^{(i)} - \sum_{i=0}^{n} q_{a}^{(i)} z_b - \sum_{i=0}^{n} q_{b}^{(i)} z_a + \sum_{i=0}^{n} z_a z_b\]
\(\sum_{i=0}^{n} q_{a}^{(i)} q_{b}^{(i)}\) مدت اجتناب ناپذیر است از آن انجام محصول از نقطه ارزش ورودی و مقدار وزن است.
\(\sum_{i=0}^{n} q_{b}^{(i)} z_a\) و \(\sum_{i=0}^{n} z_a z_b\) شرایط هستند تا از ثابت که همان در هر فراخوانی استنتاج باقی می ماند، و به این ترتیب می توان از پیش محاسبه شده است.
\(\sum_{i=0}^{n} q_{a}^{(i)} z_b\) مدت نیاز به محاسبه شود هر استنتاج از فعال سازی تغییر هر استنتاج است. با متقارن بودن وزن ها می توانیم هزینه این اصطلاح را حذف کنیم.
مشخصات اپراتور کوانتیزه int8
در زیر ما الزامات کوانتیزاسیون هسته‌های int8 tflite را شرح می‌دهیم:
ADD
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
AVERAGE_POOL_2D
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
CONCATENATION
Input ...:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
CONV_2D
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1 (Weight):
data_type : int8
range : [-127, 127]
granularity: per-axis (dim = 0)
restriction: zero_point = 0
Input 2 (Bias):
data_type : int32
range : [int32_min, int32_max]
granularity: per-axis
restriction: (scale, zero_point) = (input0_scale * input1_scale[...], 0)
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
DEPTHWISE_CONV_2D
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1 (Weight):
data_type : int8
range : [-127, 127]
granularity: per-axis (dim = 3)
restriction: zero_point = 0
Input 2 (Bias):
data_type : int32
range : [int32_min, int32_max]
granularity: per-axis
restriction: (scale, zero_point) = (input0_scale * input1_scale[...], 0)
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
FULLY_CONNECTED
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1 (Weight):
data_type : int8
range : [-127, 127]
granularity: per-tensor
restriction: zero_point = 0
Input 2 (Bias):
data_type : int32
range : [int32_min, int32_max]
granularity: per-tensor
restriction: (scale, zero_point) = (input0_scale * input1_scale[...], 0)
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
L2_NORMALIZATION
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: (scale, zero_point) = (1.0 / 128.0, 0)
LOGISTIC
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: (scale, zero_point) = (1.0 / 256.0, -128)
MAX_POOL_2D
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
MUL
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
RESHAPE
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
RESIZE_BILINEAR
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
SOFTMAX
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: (scale, zero_point) = (1.0 / 256.0, -128)
SPACE_TO_DEPTH
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
TANH
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: (scale, zero_point) = (1.0 / 128.0, 0)
PAD
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
GATHER
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
BATCH_TO_SPACE_ND
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
SPACE_TO_BATCH_ND
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
TRANSPOSE
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
MEAN
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
SUB
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
SUM
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
SQUEEZE
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
LOG_SOFTMAX
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: (scale, zero_point) = (16.0 / 256.0, 127)
MAXIMUM
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
ARG_MAX
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
MINIMUM
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
LESS
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
PADV2
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
GREATER
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
GREATER_EQUAL
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
LESS_EQUAL
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
SLICE
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
restriction: Input and outputs must all have same scale/zero_point
EQUAL
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
NOT_EQUAL
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Input 1:
data_type : int8
range : [-128, 127]
granularity: per-tensor
SHAPE
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
QUANTIZE (Requantization)
Input 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor
Output 0:
data_type : int8
range : [-128, 127]
granularity: per-tensor