আপডেট করা হয়েছে: জুন, 2021
TensorFlow এর মডেল অপ্টিমাইজেশান টুলকিট (MOT) মোবাইল এবং IoT ডিভাইসে চালানোর জন্য টেনসরফ্লো মডেলগুলিকে ছোট আকার, ভাল কর্মক্ষমতা এবং গ্রহণযোগ্য নির্ভুলতার সাথে টেনসরফ্লো লাইট মডেলগুলিতে রূপান্তর/অপ্টিমাইজ করার জন্য ব্যাপকভাবে ব্যবহৃত হয়েছে। আমরা এখন TensorFlow SavedModelকে সমর্থন করার জন্য TensorFlow Lite-এর বাইরে MOT কৌশল এবং টুলিং প্রসারিত করার জন্য কাজ করছি।
নিম্নলিখিত আমাদের রোডম্যাপ একটি উচ্চ স্তরের ওভারভিউ প্রতিনিধিত্ব করে. আপনার সচেতন হওয়া উচিত যে এই রোডম্যাপ যেকোন সময় পরিবর্তিত হতে পারে এবং নীচের ক্রমটি কোন ধরনের অগ্রাধিকার প্রতিফলিত করে না। আমরা দৃঢ়ভাবে আমাদের রোডম্যাপে মন্তব্য করতে এবং আলোচনা গোষ্ঠীতে আমাদের প্রতিক্রিয়া জানাতে উত্সাহিত করি৷
কোয়ান্টাইজেশন
টেনসরফ্লো লাইট
- কোয়ান্টাইজেশন থেকে নির্দিষ্ট স্তরগুলিকে বাদ দেওয়ার জন্য বেছে নেওয়া পোস্ট-ট্রেনিং কোয়ান্টাইজেশন।
- কোয়ান্টাইজেশন ডিবাগার প্রতি স্তরে কোয়ান্টাইজেশন ত্রুটি ক্ষয়ক্ষতি পরিদর্শন করতে।
- আরও মডেল কভারেজ যেমন টেনসরফ্লো মডেল গার্ডেনে কোয়ান্টাইজেশন-সচেতন প্রশিক্ষণ প্রয়োগ করা।
- প্রশিক্ষণ পরবর্তী গতিশীল-পরিসীমার জন্য গুণমান এবং কর্মক্ষমতা উন্নতি। পরিমাপ
টেনসরফ্লো
- পোস্ট ট্রেনিং কোয়ান্টাইজেশন (bf16 * int8 ডাইনামিক রেঞ্জ)।
- কোয়ান্টাইজেশন সচেতন প্রশিক্ষণ (শুধুমাত্র জাল কোয়ান্ট সহ bf16 * int8 ওজন)।
- কোয়ান্টাইজেশন থেকে নির্দিষ্ট স্তরগুলিকে বাদ দেওয়ার জন্য বেছে নেওয়া পোস্ট-ট্রেনিং কোয়ান্টাইজেশন।
- কোয়ান্টাইজেশন ডিবাগার প্রতি স্তরে কোয়ান্টাইজেশন ত্রুটি ক্ষয়ক্ষতি পরিদর্শন করতে।
স্পারসিটি
টেনসরফ্লো লাইট
- আরও মডেলের জন্য স্পারস মডেল এক্সিকিউশন সমর্থন।
- স্পারসিটির জন্য লক্ষ্য সচেতন রচনা।
- পারফরম্যান্ট x86 কার্নেল সহ স্পার্স অপ সেট প্রসারিত করুন।
টেনসরফ্লো
- TensorFlow-এ স্প্যারিটি সাপোর্ট।
ক্যাসকেডিং কম্প্রেশন কৌশল
- কোয়ান্টাইজেশন + টেনসর কম্প্রেশন + স্পারসিটি: একসাথে কাজ করা 3টি কৌশল প্রদর্শন করুন।
সঙ্কোচন
- টেনসর কম্প্রেশন API কম্প্রেশন অ্যালগরিদম ডেভেলপারদের তাদের নিজস্ব মডেল কম্প্রেশন অ্যালগরিদম (যেমন ওয়েট ক্লাস্টারিং) প্রয়োগ করতে সাহায্য করে যাতে পরীক্ষা/বেঞ্চমার্কের জন্য একটি আদর্শ উপায় প্রদান করা হয়।