আমি কখন MinDiff ব্যবহার করব?
যেখানে আপনার মডেল সাধারণত ভালো পারফর্ম করে, কিন্তু একটি সংবেদনশীল গোষ্ঠীর উদাহরণের ক্ষেত্রে ক্ষতিকারক ত্রুটিগুলি আরও ঘন ঘন তৈরি করে, এবং আপনি কর্মক্ষমতা ব্যবধান বন্ধ করতে চান এমন উদাহরণগুলিতে MinDiff প্রয়োগ করুন। আগ্রহের সংবেদনশীল গোষ্ঠীগুলি আপনার ব্যবহারের ক্ষেত্রে নির্ভর করে পরিবর্তিত হতে পারে, তবে প্রায়শই জাতি, ধর্ম, লিঙ্গ, যৌন অভিযোজন এবং আরও অনেক কিছুর মতো সুরক্ষিত শ্রেণীগুলি অন্তর্ভুক্ত করে৷ এই নথি জুড়ে, আমরা একটি সংরক্ষিত শ্রেণীর উদাহরণের যেকোন সেট উল্লেখ করতে "সংবেদনশীল গোষ্ঠী" ব্যবহার করব।
ডেটার কম পারফরমিং স্লাইসগুলিকে মোকাবেলা করতে MinDiff ব্যবহার করার জন্য দুটি প্রাথমিক শর্ত রয়েছে:
- আপনি ইতিমধ্যেই আপনার মডেল টিউন করেছেন এবং মূল্যায়ন করেছেন, মেট্রিকগুলি সনাক্ত করে যা ডেটার কম পারফর্মিং স্লাইস দেখায়৷ মডেল প্রতিকার প্রয়োগ করার আগে এটি অবশ্যই করা উচিত।
- আপনার কাছে পর্যাপ্ত সংখ্যক প্রাসঙ্গিক লেবেলযুক্ত উদাহরণ রয়েছে যা কম পারফর্মিং গ্রুপের (নীচে আরও বিশদ বিবরণ)।
MinDiff অসম আচরণের প্রতিকার করার জন্য অনেক কৌশলগুলির মধ্যে একটি। বিশেষ করে, আপনি যখন গ্রুপের মধ্যে পারফরম্যান্সকে সরাসরি সমান করার চেষ্টা করছেন তখন এটি একটি ভাল পছন্দ হতে পারে। MinDiff অন্যান্য পদ্ধতির সাথে একত্রে ব্যবহার করা যেতে পারে, যেমন ডেটা বৃদ্ধি এবং অন্যান্য, যা আরও ভাল ফলাফলের দিকে নিয়ে যেতে পারে। যাইহোক, কোন কৌশলে বিনিয়োগ করতে হবে তা যদি আপনার অগ্রাধিকার দিতে হয়, তাহলে আপনার পণ্যের চাহিদা অনুযায়ী তা করা উচিত।
MinDiff প্রয়োগ করার সময়, আপনি আপনার সেরা পারফরম্যান্সকারী গোষ্ঠীগুলির জন্য কর্মক্ষমতা হ্রাস পেতে বা কিছুটা স্থানান্তরিত দেখতে পারেন, কারণ আপনার কম পারফরম্যান্সকারী গোষ্ঠীগুলি উন্নত হয়৷ এই ট্রেডঅফ প্রত্যাশিত, এবং আপনার পণ্যের প্রয়োজনীয়তার পরিপ্রেক্ষিতে মূল্যায়ন করা উচিত। অনুশীলনে, আমরা প্রায়ই দেখেছি যে MinDiff শীর্ষস্থানীয় পারফর্মিং স্লাইসগুলিকে গ্রহণযোগ্য স্তরের নীচে নামিয়ে দেয় না, তবে এটি প্রয়োগ-নির্দিষ্ট এবং একটি সিদ্ধান্ত যা পণ্যের মালিককে নিতে হবে।
কি ধরনের মডেলের উপর আমি MinDiff প্রয়োগ করতে পারি?
বাইনারি ক্লাসিফায়ারে প্রয়োগ করার সময় MinDiff-কে ধারাবাহিকভাবে কার্যকর দেখানো হয়েছে। অন্যান্য অ্যাপ্লিকেশনের জন্য পদ্ধতিটি অভিযোজিত করা সম্ভব, তবে সম্পূর্ণরূপে পরীক্ষা করা হয়নি। মাল্টি-ক্ল্যাসিফিকেশন এবং র্যাঙ্কিং টাস্ক 1- এ সাফল্য দেখানোর জন্য কিছু কাজ করা হয়েছে কিন্তু এই বা অন্য ধরনের মডেলগুলিতে MinDiff-এর যে কোনও ব্যবহার পরীক্ষামূলক বিবেচনা করা উচিত।
কোন মেট্রিক্সে আমি MinDiff প্রয়োগ করতে পারি?
MinDiff একটি ভাল সমাধান হতে পারে যখন আপনি যে মেট্রিকটি গ্রুপ জুড়ে সমান করার চেষ্টা করছেন সেটি হল মিথ্যা পজিটিভ রেট (FPR) , বা মিথ্যা নেতিবাচক হার (FNR) , তবে এটি অন্যান্য মেট্রিকের জন্য কাজ করতে পারে। একটি সাধারণ নিয়ম হিসাবে, MinDiff কাজ করতে পারে যখন আপনি যে মেট্রিকটিকে লক্ষ্য করছেন সেটি একটি সংবেদনশীল গোষ্ঠীর উদাহরণ এবং একটি সংবেদনশীল গোষ্ঠীর অন্তর্গত নয় এমন উদাহরণগুলির মধ্যে স্কোর বিতরণের পার্থক্যের ফলে।
আপনার MinDiff ডেটাসেট তৈরি করা
MinDiff এর সাথে প্রশিক্ষণের প্রস্তুতি নেওয়ার সময়, আপনাকে তিনটি পৃথক ডেটাসেট প্রস্তুত করতে হবে। নিয়মিত প্রশিক্ষণের মতো, আপনার MinDiff ডেটাসেটগুলি আপনার মডেল যে ব্যবহারকারীদের পরিবেশন করে তাদের প্রতিনিধি হওয়া উচিত। MinDiff এটি ছাড়া কাজ করতে পারে কিন্তু এই ধরনের ক্ষেত্রে আপনার অতিরিক্ত সতর্কতা অবলম্বন করা উচিত।
ধরে নিচ্ছি আপনি একটি সংবেদনশীল শ্রেণীর উদাহরণের জন্য আপনার মডেলের FPR উন্নত করার চেষ্টা করছেন, আপনার প্রয়োজন হবে:
- মূল প্রশিক্ষণ সেট - মূল ডেটাসেট যা আপনার বেসলাইন মডেলকে প্রশিক্ষণের জন্য ব্যবহার করা হয়েছিল
- MinDiff সংবেদনশীল সেট - শুধুমাত্র নেতিবাচক গ্রাউন্ড ট্রুথ লেবেল সহ সংবেদনশীল শ্রেণীর উদাহরণগুলির একটি ডেটাসেট৷ এই উদাহরণগুলি শুধুমাত্র MinDiff ক্ষতি গণনা করার জন্য ব্যবহার করা হবে।
- MinDiff অ-সংবেদনশীল সেট - শুধুমাত্র নেতিবাচক গ্রাউন্ড ট্রুথ লেবেল সহ সংবেদনশীল শ্রেণীর অন্তর্গত নয় এমন উদাহরণগুলির একটি ডেটাসেট৷ এই উদাহরণগুলি শুধুমাত্র MinDiff ক্ষতি গণনা করার জন্য ব্যবহার করা হবে।
লাইব্রেরি ব্যবহার করার সময়, আপনি এই তিনটি ডেটাসেটকে একটি একক ডেটাসেটে একত্রিত করবেন, যা আপনার নতুন প্রশিক্ষণ সেট হিসেবে কাজ করবে।
MinDiff-এর জন্য উদাহরণ বাছাই করা
যদি আপনি প্রাথমিকভাবে মিথ্যা ইতিবাচক হারের বৈষম্য নিয়ে উদ্বিগ্ন হন তবে নেতিবাচকভাবে লেবেলযুক্ত উদাহরণের সেটগুলি তৈরি করা উপরের উদাহরণে বিপরীত মনে হতে পারে। যাইহোক, মনে রাখবেন যে একটি মিথ্যা ইতিবাচক ভবিষ্যদ্বাণী একটি নেতিবাচক লেবেলযুক্ত উদাহরণ থেকে আসে যা ভুলভাবে ইতিবাচক হিসাবে শ্রেণীবদ্ধ করা হয়।
MinDiff-এর জন্য আপনার ডেটা সংগ্রহ করার সময়, আপনার এমন উদাহরণগুলি বেছে নেওয়া উচিত যেখানে কর্মক্ষমতার বৈষম্য স্পষ্ট। উপরের আমাদের উদাহরণে, এর অর্থ হল FPR মোকাবেলা করার জন্য নেতিবাচকভাবে লেবেলযুক্ত উদাহরণগুলি বেছে নেওয়া। আমরা যদি FNR টার্গেট করতে আগ্রহী হতাম, তাহলে আমাদের ইতিবাচক লেবেলযুক্ত উদাহরণগুলি বেছে নেওয়া দরকার ছিল।
আমার কত ডেটা দরকার?
ভাল প্রশ্ন - এটি আপনার ব্যবহারের ক্ষেত্রে নির্ভর করে! আপনার মডেল আর্কিটেকচার, ডেটা ডিস্ট্রিবিউশন এবং MinDiff কনফিগারেশনের উপর ভিত্তি করে, প্রয়োজনীয় ডেটার পরিমাণ উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে। অতীতের অ্যাপ্লিকেশনগুলিতে, আমরা প্রতিটি MinDiff প্রশিক্ষণ সেটে 5,000টি উদাহরণের সাথে MinDiff ভালভাবে কাজ করতে দেখেছি (আগের বিভাগে 2 এবং 3 সেট)। কম ডেটা সহ, কর্মক্ষমতা হ্রাসের ঝুঁকি বেড়ে যায়, তবে এটি আপনার উত্পাদন সীমাবদ্ধতার সীমার মধ্যে ন্যূনতম বা গ্রহণযোগ্য হতে পারে। MinDiff প্রয়োগ করার পরে, গ্রহণযোগ্য কর্মক্ষমতা নিশ্চিত করতে আপনাকে আপনার ফলাফলগুলি পুঙ্খানুপুঙ্খভাবে মূল্যায়ন করতে হবে। যদি তারা অবিশ্বস্ত হয়, বা কর্মক্ষমতা প্রত্যাশা পূরণ না করে, আপনি এখনও আরও ডেটা সংগ্রহ করার কথা বিবেচনা করতে পারেন।
MinDiff কখন আমার জন্য সঠিক নয় ?
MinDiff একটি শক্তিশালী কৌশল যা চিত্তাকর্ষক ফলাফল প্রদান করতে পারে, কিন্তু এর অর্থ এই নয় যে এটি সমস্ত পরিস্থিতিতে সঠিক পদ্ধতি। অযৌক্তিকভাবে এটি প্রয়োগ করা গ্যারান্টি দেয় না যে আপনি একটি পর্যাপ্ত সমাধান পাবেন।
উপরে আলোচিত প্রয়োজনীয়তার বাইরে, এমন কিছু ক্ষেত্রে রয়েছে যেখানে MinDiff প্রযুক্তিগতভাবে সম্ভব হতে পারে, কিন্তু উপযুক্ত নয়। আপনার সর্বদা আপনার এমএল ওয়ার্কফ্লোকে পরিচিত প্রস্তাবিত অনুশীলন অনুসারে ডিজাইন করা উচিত। উদাহরণস্বরূপ, যদি আপনার মডেলের টাস্কটি ভুল-সংজ্ঞায়িত হয়, পণ্যটির অস্পষ্ট প্রয়োজন, বা আপনার উদাহরণের লেবেলগুলি অত্যধিক তির্যক, আপনার এই সমস্যাগুলির সমাধান করার জন্য অগ্রাধিকার দেওয়া উচিত। একইভাবে, যদি আপনার কাছে সংবেদনশীল গোষ্ঠীর একটি স্পষ্ট সংজ্ঞা না থাকে, বা উদাহরণগুলি সংবেদনশীল গোষ্ঠীর অন্তর্গত কিনা তা নির্ভরযোগ্যভাবে নির্ধারণ করতে অক্ষম হন, আপনি কার্যকরভাবে MinDiff প্রয়োগ করতে পারবেন না।
উচ্চ স্তরে, আপনার সর্বদা বিবেচনা করা উচিত যে আপনার পণ্যটি আদৌ ML-এর জন্য উপযুক্ত ব্যবহার কিনা। যদি এটি হয়, তাহলে ব্যবহারকারীর ক্ষতির জন্য সম্ভাব্য ভেক্টর বিবেচনা করুন এটি তৈরি করে। দায়িত্বশীল ML-এর সাধনা হল একটি বহুমুখী প্রচেষ্টা যার লক্ষ্য হল সম্ভাব্য ক্ষতির বিস্তৃত পরিসরের প্রত্যাশা করা; MinDiff এর মধ্যে কিছু প্রশমিত করতে সাহায্য করতে পারে, কিন্তু সমস্ত ফলাফল সতর্কতার সাথে বিবেচনার দাবি রাখে।
1 Beutel A., Chen, J., Doshi, T., Qian, H., Wei, L., Wu, Y., Heldt, L., Zhao, Z., Hong, L., Chi, E., গুডরো, সি. (2019)। পেয়ারওয়াইজ তুলনার মাধ্যমে সুপারিশ র্যাঙ্কিংয়ে ন্যায্যতা।