This page was translated by the Cloud Translation API.
Switch to English

Quantization সচেতন প্রশিক্ষণ

TensorFlow মডেল অপ্টিমাইজেশান দ্বারা পরিচালিত

পোস্ট প্রশিক্ষণ quantization এবং quantization সচেতন প্রশিক্ষণ আছে: quantization দুই ফর্ম আছে। দিয়ে শুরু করুন পোস্ট প্রশিক্ষণ quantization যেহেতু এটি ব্যবহার করা আরো সহজ, যদিও quantization সচেতন প্রশিক্ষণ প্রায়ই ভাল মডেল সঠিকতা জন্য।

এই পৃষ্ঠাটি নির্ধারণে আপনাকে সাহায্য করতে কিভাবে এটা আপনার ব্যবহার কেস সঙ্গে ফিট quantization সচেতন প্রশিক্ষণে একটি ওভারভিউ প্রদান করে।

সংক্ষিপ্ত বিবরণ

Quantization সচেতন প্রশিক্ষণ অনুমান-টাইম quantization অনুকরণ, একটি মডেল যা স্রোতবরাবর সরঞ্জাম আসলে নিরবচ্ছিন্ন মডেল উত্পাদন করতে ব্যবহার করা হবে তৈরি করা। নিরবচ্ছিন্ন মডেলের কম স্পষ্টতা (32-বিট ভাসা পরিবর্তে যেমন 8-বিট) ব্যবহার করেন, স্থাপনার সময় সুবিধা সৃষ্টি করে।

quantization সহ স্থাপন করুন

Quantization মডেল কম্প্রেশন এবং লেটেন্সি হ্রাস মাধ্যমে উন্নতি এনেছে। পরীক্ষিত ব্যাক-এন্ডের মধ্যে CPU- র লেটেন্সি মধ্যে 4x উন্নতি - এপিআই ডিফল্ট, 4x দ্বারা মডেল আকার সঙ্কুচিত করে, এবং সঙ্গে আমরা সাধারণত 1.5 মধ্যে দেখতে পাচ্ছি। অবশেষে লেটেন্সি উন্নতি যেমন সামঞ্জস্যপূর্ণ মেশিন লার্নিং ত্বরক, দেখা যাবে EdgeTPU এবং NNAPI।

কৌশল বক্তৃতা, দৃষ্টি, টেক্সট উৎপাদন ব্যবহৃত, এবং ব্যবহারের ক্ষেত্রে অনুবাদ করা হয়। কোড বর্তমানে সমর্থন এই মডেলের উপসেট

quantization এবং সংশ্লিষ্ট হার্ডওয়্যার নিয়ে গবেষণা

ব্যবহারকারীরা quantization মাপদণ্ডগুলি (বিট যেমন নম্বর) কিছু মাত্রায় অন্তর্নিহিত আলগোরিদিম কনফিগার করতে পারেন। এপিআই অক্ষমতা থেকে এই পরিবর্তনের সঙ্গে, সেখানে সমর্থিত নয় স্থাপনার পাথ।

এই কনফিগারেশনে API গুলি নির্দিষ্ট অনুন্নত সহাবস্থানযোগ্যতা পরীক্ষামূলক এবং সাপেক্ষে।

এপিআই সামঞ্জস্য

ব্যবহারকারীরা নিম্নলিখিত API গুলির সাথে quantization প্রয়োগ করতে পারবেন:

  • মডেল ভবন: tf.keras শুধুমাত্র অনুক্রমিক এবং কার্যকরী মডেলের সঙ্গে।
  • TensorFlow সংস্করণ: এর জন্য TF-রাত্রিকালীন মেমরি 2.x।
    • tf.compat.v1 একটি TF 2.x প্যাকেজের সাথে সমর্থিত নয়।
  • TensorFlow সঞ্চালনের মোড: উৎসুক ফাঁসি

এটা তোলে নিম্নলিখিত এলাকার সমর্থন যোগ করার জন্য আমাদের রোডম্যাপ হয়:

  • মডেল ভবন: নির্মল কিভাবে Subclassed মডেল কোন সমর্থন কাছেই সীমাবদ্ধ করে রেখেছেন
  • বন্টিত প্রশিক্ষণ: tf.distribute

সাধারণ সমর্থন ম্যাট্রিক্স

সাপোর্ট নিম্নলিখিত এলাকার উপলব্ধ:

  • মডেল কভারেজ: ব্যবহার মডেলের পরিচ্ছন্ন তালিকাতে যুক্ত স্তর , BatchNormalization যখন এটি Conv2D এবং DepthwiseConv2D স্তর অনুসরণ করে, এবং সীমিত ক্ষেত্রে, Concat
  • হার্ডওয়্যারের ত্বরণ: আমাদের এপিআই ডিফল্ট, EdgeTPU, NNAPI এবং TFLite ব্যাক-এন্ডের উপর ত্বরণ সঙ্গে সামঞ্জস্যপূর্ণ অন্যদের মধ্যে। রোডম্যাপ মধ্যে সতর্কীকরণ দেখুন।
  • quantization সহ স্থাপন করুন: convolutional স্তর, না প্রতি-টেন্সর quantization জন্য শুধুমাত্র প্রতি অক্ষ quantization, বর্তমানে সমর্থিত হবে।

এটা তোলে নিম্নলিখিত এলাকার সমর্থন যোগ করার জন্য আমাদের রোডম্যাপ হয়:

  • মডেল কভারেজ: বাড়ানো RNN / LSTMs ও সাধারণ CONCAT সমর্থন অন্তর্ভুক্ত করা।
  • হার্ডওয়্যারের ত্বরণ: TFLite রূপান্তরকারী নিশ্চিত পুরো পূর্ণসংখ্যা মডেল তৈরী করতে পারে। দেখুন এই সমস্যাটি বিস্তারিত জানার জন্য।
  • quantization ব্যবহারের ক্ষেত্রে নিয়ে পরীক্ষা:
    • quantization আলগোরিদিম যা বিঘত Keras স্তর সঙ্গে পরীক্ষা বা প্রশিক্ষণের পদক্ষেপ প্রয়োজন।
    • API গুলি স্থির।

ফলাফল

সরঞ্জামগুলির সাথে ভাবমূর্তি শ্রেণীবিন্যাস

মডেল অ নিরবচ্ছিন্ন শীর্ষ -1 যথার্থতা 8-বিট নিরবচ্ছিন্ন যথার্থতা
MobilenetV1 224 71,03% 71,06%
Resnet v1 এ 50 76,3% 76,1%
MobilenetV2 224 70,77% 70,01%

মডেল Imagenet উপর পরীক্ষা এবং উভয় TensorFlow এবং TFLite মূল্যায়ন করা হয়।

কৌশল এর চিত্র শ্রেণীবিন্যাস

মডেল অ নিরবচ্ছিন্ন শীর্ষ -1 যথার্থতা 8-বিট নিরবচ্ছিন্ন যথার্থতা
Nasnet মোবাইল 74% 73%
Resnet-V2 50 75,6% 75%

মডেল Imagenet উপর পরীক্ষা এবং উভয় TensorFlow এবং TFLite মূল্যায়ন করা হয়।

উদাহরণ

ছাড়াও quantization সচেতন প্রশিক্ষণ উদাহরণস্বরূপ , নিম্নলিখিত উদাহরণ দেখুন:

  • Quantization সঙ্গে MNIST হাতে লেখা অঙ্ক শ্রেণীবিন্যাস কাজের উপর সিএনএন মডেল: কোড

অনুরূপ কিছু পৃষ্ঠভূমির জন্য, দক্ষ পূর্ণসংখ্যা-পাটিগণিত-শুধু ইনফিরেনস জন্য Quantization এবং নিউরাল নেটওয়ার্কের প্রশিক্ষণ দেখতে কাগজ । এই কাগজ যে এই সরঞ্জামটি ব্যবহার কিছু ধারণা প্রবর্তন করে। বাস্তবায়ন ঠিক একই নয়, এবং সেখানে অতিরিক্ত এই টুল ব্যবহার করা ধারণার (যেমন প্রতি অক্ষ quantization) হয়।