BERT প্রশ্নোত্তর

একটি প্রদত্ত প্যাসেজের বিষয়বস্তুর উপর ভিত্তি করে প্রশ্নের উত্তর দিতে একটি TensorFlow Lite মডেল ব্যবহার করুন।

এবার শুরু করা যাক

আপনি যদি TensorFlow Lite-এ নতুন হয়ে থাকেন এবং Android বা iOS-এর সাথে কাজ করেন, তাহলে আমরা আপনাকে শুরু করতে সাহায্য করতে পারে এমন নিম্নলিখিত উদাহরণের অ্যাপ্লিকেশনগুলি অন্বেষণ করার পরামর্শ দিই।

অ্যান্ড্রয়েড উদাহরণ iOS উদাহরণ

আপনি যদি Android/iOS ছাড়া অন্য কোনো প্ল্যাটফর্ম ব্যবহার করেন, অথবা আপনি ইতিমধ্যেই TensorFlow Lite API- এর সাথে পরিচিত হন, তাহলে আপনি আমাদের স্টার্টার প্রশ্ন ও উত্তরের মডেল ডাউনলোড করতে পারেন।

স্টার্টার মডেল এবং ভোকাব ডাউনলোড করুন

মেটাডেটা এবং সংশ্লিষ্ট ক্ষেত্র (যেমন vocab.txt ) সম্পর্কে আরও তথ্যের জন্য মডেল থেকে মেটাডেটা পড়ুন দেখুন।

কিভাবে এটা কাজ করে

মডেলটি এমন একটি সিস্টেম তৈরি করতে ব্যবহার করা যেতে পারে যা স্বাভাবিক ভাষায় ব্যবহারকারীদের প্রশ্নের উত্তর দিতে পারে। এটি SQuAD 1.1 ডেটাসেটে একটি প্রাক-প্রশিক্ষিত BERT মডেল ফাইন-টিউনড ব্যবহার করে তৈরি করা হয়েছে।

BERT , বা ট্রান্সফরমার থেকে দ্বিমুখী এনকোডার প্রতিনিধিত্ব হল প্রাক-প্রশিক্ষণের ভাষা উপস্থাপনার একটি পদ্ধতি যা প্রাকৃতিক ভাষা প্রক্রিয়াকরণের বিস্তৃত অ্যারেতে অত্যাধুনিক ফলাফল লাভ করে।

এই অ্যাপটি BERT, MobileBERT এর একটি সংকুচিত সংস্করণ ব্যবহার করে, যা 4x দ্রুত চলে এবং 4x ছোট মডেলের আকার রয়েছে।

স্কোয়াড , বা স্ট্যানফোর্ড প্রশ্ন উত্তর ডেটাসেট, উইকিপিডিয়া থেকে নিবন্ধগুলি এবং প্রতিটি নিবন্ধের জন্য প্রশ্ন-উত্তর জোড়ার একটি সেট সমন্বিত একটি পাঠ বোঝার ডেটাসেট।

মডেলটি ইনপুট হিসাবে একটি উত্তরণ এবং একটি প্রশ্ন নেয়, তারপর উত্তরণের একটি অংশ ফেরত দেয় যা সম্ভবত প্রশ্নের উত্তর দেয়। এটির জন্য টোকেনাইজেশন এবং পোস্ট-প্রসেসিং ধাপগুলি সহ আধা-জটিল প্রাক-প্রক্রিয়াকরণের প্রয়োজন যা BERT কাগজে বর্ণিত এবং নমুনা অ্যাপে প্রয়োগ করা হয়েছে।

কর্মক্ষমতা বেঞ্চমার্ক

পারফরম্যান্স বেঞ্চমার্ক নম্বর এখানে বর্ণিত টুল দিয়ে তৈরি করা হয়।

ণশড মডেলের আকার যন্ত্র সিপিইউ
মোবাইল বার্ট 100.5 Mb Pixel 3 (Android 10) 123ms*
Pixel 4 (Android 10) 74ms*
iPhone XS (iOS 12.4.1) 257ms**

* 4টি থ্রেড ব্যবহার করা হয়েছে।

** সেরা পারফরম্যান্স ফলাফলের জন্য আইফোনে 2টি থ্রেড ব্যবহার করা হয়েছে।

উদাহরণ আউটপুট

উত্তরণ (ইনপুট)

Google LLC হল একটি আমেরিকান বহুজাতিক প্রযুক্তি কোম্পানি যা ইন্টারনেট-সম্পর্কিত পরিষেবা এবং পণ্যগুলিতে বিশেষজ্ঞ, যার মধ্যে রয়েছে অনলাইন বিজ্ঞাপন প্রযুক্তি, সার্চ ইঞ্জিন, ক্লাউড কম্পিউটিং, সফ্টওয়্যার এবং হার্ডওয়্যার। এটি আমাজন, অ্যাপল এবং ফেসবুকের পাশাপাশি বিগ ফোর প্রযুক্তি কোম্পানিগুলির মধ্যে একটি হিসাবে বিবেচিত হয়।

গুগল 1998 সালের সেপ্টেম্বরে ল্যারি পেজ এবং সের্গেই ব্রিন যখন পিএইচ.ডি. ক্যালিফোর্নিয়ার স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের শিক্ষার্থীরা। একসাথে তারা এর প্রায় 14 শতাংশ শেয়ারের মালিক এবং সুপারভোটিং স্টকের মাধ্যমে 56 শতাংশ স্টকহোল্ডার ভোটিং ক্ষমতা নিয়ন্ত্রণ করে। তারা ক্যালিফোর্নিয়ায় 4 সেপ্টেম্বর, 1998-এ ক্যালিফোর্নিয়ায় একটি ব্যক্তিগতভাবে অধিষ্ঠিত কোম্পানী হিসাবে Google কে অন্তর্ভুক্ত করে। Google তারপরে 22 অক্টোবর, 2002-এ ডেলাওয়্যারে পুনর্গঠিত হয়। একটি প্রাথমিক পাবলিক অফার (আইপিও) 19 আগস্ট, 2004 তারিখে সংঘটিত হয়েছিল এবং Google মাউন্টেন ভিউ, ক্যালিফোর্নিয়ার তার সদর দফতরে চলে যায়, যার ডাকনাম Googleplex। আগস্ট 2015-এ, Google Alphabet Inc নামে একটি সমষ্টি হিসাবে তার বিভিন্ন স্বার্থকে পুনর্গঠিত করার পরিকল্পনা ঘোষণা করেছে৷ Google হল Alphabet-এর নেতৃস্থানীয় সহায়ক সংস্থা এবং Alphabet-এর ইন্টারনেট আগ্রহের জন্য একটি ছাতা কোম্পানি হতে থাকবে৷ সুন্দর পিচাইকে গুগলের সিইও নিযুক্ত করা হয়েছিল, ল্যারি পেজের স্থলাভিষিক্ত হন যিনি অ্যালফাবেটের সিইও হয়েছিলেন।

প্রশ্ন (ইনপুট)

গুগলের সিইও কে?

উত্তর (আউটপুট)

সুন্দর পিচাই

BERT সম্পর্কে আরও পড়ুন