این صفحه به‌وسیله ‏Cloud Translation API‏ ترجمه شده است.
Switch to English

کمیت بعد از آموزش

کمیت سنجی پس از آموزش شامل تکنیک های عمومی برای کاهش تاخیر پردازنده و سخت افزار سخت افزاری سخت افزار ، پردازش ، قدرت و اندازه مدل با کمی تخریب در دقت مدل است. این تکنیک ها را می توان روی یک مدل شناور TensorFlow که قبلاً آموزش دیده است ، انجام داد و در هنگام تبدیل TensorFlow Lite به کار برد. این تکنیک ها به عنوان گزینه هایی در مبدل TensorFlow Lite فعال می شوند .

برای پرش به سمت راست به مثالهای پایان ، به آموزشهای زیر مراجعه کنید:

کمیت وزن

وزنها را می توان به انواع با دقت کم تبدیل کرد ، مانند شناورهای 16 بیتی یا اعداد صحیح 8 بیتی. ما به طور کلی شناورهای 16 بیتی را برای شتاب GPU و عدد صحیح 8 بیتی برای اجرای CPU توصیه می کنیم.

به عنوان مثال ، در اینجا نحوه تعیین کمیت وزن عددی 8 بیتی آورده شده است:

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()

در زمان استنتاج ، قطعات بسیار مهم با 8 بیت به جای نقطه شناور محاسبه می شوند. برخی از عملکردهای استنتاج زمان سربار وجود دارد ، نسبت به کمیت هر دو وزن و فعال سازی در زیر.

برای اطلاعات بیشتر ، به راهنمای تعیین کمیت بعد از آموزش TensorFlow Lite مراجعه کنید.

کمیت کامل عدد صحیح وزن و فعال سازی

تأخیر ، پردازش و استفاده از انرژی را بهبود بخشیده و با اطمینان از اندازه گیری وزن و فعال سازی ، به شتابدهنده های سخت افزاری فقط با عدد صحیح دسترسی پیدا کنید. این نیاز به یک مجموعه داده کوچک نماینده دارد.

import tensorflow as tf

def representative_dataset_gen():
  for _ in range(num_calibration_steps):
    # Get sample input data as a numpy array in a method of your choosing.
    yield [input]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()

مدل نتیجه هنوز برای راحتی کار ، ورودی و خروجی شناور را می گیرد.

برای اطلاعات بیشتر ، به راهنمای تعیین کمیت پس از آموزش TensorFlow Lite مراجعه کنید.