প্রশিক্ষণ পরবর্তী কোয়ান্টাইজেশন

প্রশিক্ষণ পরবর্তী কোয়ান্টাইজেশনের মধ্যে সিপিইউ এবং হার্ডওয়্যার এক্সিলারেটর ল্যাটেন্সি, প্রসেসিং, শক্তি এবং মডেলের নির্ভুলতায় সামান্য অবনতি সহ মডেল আকার হ্রাস করার সাধারণ কৌশল রয়েছে। এই কৌশলগুলি ইতিমধ্যে প্রশিক্ষিত ফ্লোট টেনসরফ্লো মডেলে সঞ্চালিত হতে পারে এবং টেনসরফ্লো লাইট রূপান্তরকালে প্রয়োগ করা যেতে পারে। এই কৌশলগুলি টেনসরফ্লো লাইট রূপান্তরকারী হিসাবে বিকল্প হিসাবে সক্ষম করা হয়েছে।

শেষ থেকে শেষের উদাহরণগুলিতে ডানদিকে ঝাঁপ দিতে, নিম্নলিখিত টিউটোরিয়ালগুলি দেখুন:

• প্রশিক্ষণোত্তর গতিশীল পরিসীমা কোয়ান্টাইজেশন
• প্রশিক্ষণ পরবর্তী পূর্ণসংখ্যার পরিমাণ নির্ধারণ
• প্রশিক্ষণ পরবর্তী ফ্লোট 16 কোয়ান্টাইজেশন

ওজন মাপছে

ওজনগুলি হ্রাস নির্ভুলতার সাথে প্রকারভেদে রূপান্তর করা যেতে পারে, যেমন 16 বিট ফ্লোট বা 8 বিট পূর্ণসংখ্যা। আমরা সাধারণত জিপিইউ ত্বরণের জন্য 16-বিট ফ্লোট এবং সিপিইউ এক্সিকিউশনের জন্য 8-বিট পূর্ণসংখ্যার প্রস্তাব দিই।

উদাহরণস্বরূপ, এখানে 8 বিট পূর্ণসংখ্যার ওজনের পরিমাণ নির্ধারণ করতে হবে:

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_quant_model = converter.convert()

অনুমান হিসাবে, সর্বাধিক সমালোচনামূলক নিবিড় অংশগুলি ভাসমান পয়েন্টের পরিবর্তে 8 বিটের সাথে গণনা করা হয়। নীচে নীচে ওজন এবং ক্রিয়াকলাপ উভয়ের পরিমাণের তুলনায় কিছুটা ইনফার-টাইম পারফরম্যান্স রয়েছে।

আরও তথ্যের জন্য, টেনসরফ্লো লাইট প্রশিক্ষণ পরবর্তী কোয়ান্টাইজেশন গাইড দেখুন।

ওজন এবং ক্রিয়াকলাপগুলির পূর্ণ পূর্ণসংখ্যার পরিমাণ

বিলম্বিতা, প্রক্রিয়াকরণ এবং পাওয়ারের ব্যবহার উন্নত করুন এবং ওজন এবং ক্রিয়াকলাপ উভয়ই কোয়ান্টাইজড রয়েছে তা নিশ্চিত করে পূর্ণসংখ্যার কেবলমাত্র হার্ডওয়্যার এক্সিলারগুলির অ্যাক্সেস পান। এটির জন্য একটি ছোট প্রতিনিধি ডেটা সেট প্রয়োজন।

ফলস্বরূপ মডেলটি এখনও সুবিধার জন্য ফ্লোট ইনপুট এবং আউটপুট নেবে।

আরও তথ্যের জন্য, টেনসরফ্লো লাইট প্রশিক্ষণ পরবর্তী কোয়ান্টাইজেশন গাইড দেখুন।