সাহায্য Kaggle উপর TensorFlow সঙ্গে গ্রেট বেরিয়ার রিফ রক্ষা চ্যালেঞ্জ যোগদান

মডেল প্রতিকার কি?

একবার আপনি সঞ্চালিত করে থাকেন টুকরা করা মূল্যায়ন একটি মেশিন লার্নিং মডেল এর পারফরম্যান্সের, আপনি লক্ষ্য হতে পারে আপনার মডেল ডেটার নির্দিষ্ট টুকরা জুড়ে পারছে করা হয়। এই ধরনের অসম কর্মক্ষমতা কখনও কখনও জনসংখ্যার দুর্বল উপসেটগুলির জন্য অন্যায্য এবং সম্ভাব্য ক্ষতিকারক ফলাফলের দিকে নিয়ে যেতে পারে। সাধারণত, পক্ষপাতমূলক উদ্বেগগুলি মোকাবেলার জন্য তিনটি প্রাথমিক ধরণের প্রযুক্তিগত হস্তক্ষেপ রয়েছে:

  • , আরো তথ্য সংগ্রহ সিন্থেটিক তথ্য উৎপাদিত, ওজন সামঞ্জস্য এবং স্যাম্পলিং বিভিন্ন টুকরা হার, ইত্যাদি 1: ইনপুট ডেটা পরিবর্তন
  • মডেল হস্তক্ষেপ: উপস্থাপক বা পরিবর্তনকারী মডেল উদ্দেশ্য, সীমাবদ্ধতা যুক্ত ইত্যাদি দ্বারা মডেল নিজেই পরিবর্তন 2
  • পরবর্তী প্রক্রিয়াকরণের ফলাফল: মডেল আউটপুট বা আউটপুট ব্যাখ্যার সংশোধন মেট্রিক্স জুড়ে পারফরম্যান্সের উন্নতি করতে। 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

MinDiff কি?

MinDiff হল একটি মডেল প্রতিকারের কৌশল যা দুটি বিতরণকে সমান করতে চায়। অনুশীলনে, এটি আপনার ডেটার বিভিন্ন স্লাইস জুড়ে ত্রুটির হারের ভারসাম্য বজায় রাখতে ব্যবহার করা যেতে পারে বন্টনগত পার্থক্যকে শাস্তি দিয়ে।

সাধারণত, একটি সংবেদনশীল শ্রেণীর ডেটার একটি স্লাইস এবং একটি ভাল পারফরম্যান্স স্লাইসের মধ্যে মিথ্যা পজিটিভ রেট (FPR) বা মিথ্যা নেতিবাচক হার (FNR) এর মধ্যে পার্থক্য কমানোর চেষ্টা করার সময় কেউ MinDiff প্রয়োগ করে৷ ন্যায্যতা মেট্রিক্সের গভীর আলোচনার জন্য, এই বিষয়ে সাহিত্য পর্যালোচনা করুন। 4 5 6

MinDiff কিভাবে কাজ করে?

আমাদের ডেটাসেট থেকে উদাহরণের দুটি সেট দেওয়া হয়েছে, MinDiff দুটি সেটের মধ্যে স্কোর বিতরণে পার্থক্যের জন্য প্রশিক্ষণের সময় মডেলটিকে শাস্তি দেয়। ভবিষ্যদ্বাণী স্কোরের উপর ভিত্তি করে দুটি সেট যত কম আলাদা করা যায়, পেনাল্টি তত কম প্রয়োগ করা হবে।

যে ক্ষতির সাথে মডেল প্রশিক্ষণ নিচ্ছে তার সাথে একটি উপাদান যোগ করে শাস্তি প্রয়োগ করা হয়। এটি মডেল ভবিষ্যদ্বাণীগুলির বিতরণের পার্থক্যের পরিমাপ হিসাবে বিবেচনা করা যেতে পারে। মডেল ট্রেনিং করার সাথে সাথে, এটি উপরোক্ত গ্রাফের মতো বিতরণগুলিকে কাছাকাছি এনে শাস্তি কমানোর চেষ্টা করবে।

MinDiff প্রয়োগ করলে মূল কাজের পারফরম্যান্সের ক্ষেত্রে ট্রেডঅফ আসতে পারে। অনুশীলনে, আমরা প্রায়শই MinDiff কে কার্যকরী হিসাবে দেখেছি যখন পণ্যের চাহিদার বাইরে কর্মক্ষমতা খারাপ না করে, তবে এটি প্রয়োগ নির্ভর হবে এবং সিদ্ধান্তটি পণ্যের মালিকের ইচ্ছাকৃতভাবে নেওয়া উচিত। MinDiff বাস্তবায়ন কিভাবে দেখাচ্ছে উদাহরণের জন্য, দেখুন আমাদের নোটবুক টিউটোরিয়াল

1 ঝাঙ, জি, বাই, বি ঝাঙ, জে, বাই, কে ঝু, সি, ঝাও, টি (2020)। জনসংখ্যাবিষয়ক বিষাক্ততার কারণ হওয়া উচিত নয়: দৃষ্টান্ত ওজন সহ পাঠ্য শ্রেণীবিভাগে বৈষম্য হ্রাস করা।
2 Prost, এফ, Qian থেকে এইচ, চেন, প্র:, চি, ই, চেন, জে, Beutel এ (2019)। কার্নেল-ভিত্তিক ডিস্ট্রিবিউশন মিলের সাথে পারফরম্যান্স এবং ন্যায্যতার মধ্যে একটি ভাল ট্রেড-অফের দিকে।
3 Alabdulmohsin, আই (2020)। অনিয়ন্ত্রিত অপ্টিমাইজেশনের মাধ্যমে ন্যায্য শ্রেণীবিভাগ।
4 Dwork, সি, মধ্যে Hardt, এম, Pitassi, টি, Reingold, ও, Zemel, আর (2011)। সচেতনতার মাধ্যমে ন্যায্যতা।
5 মধ্যে Hardt, এম, দাম, ই, Srebro, এন (2016)। তত্ত্বাবধানে শেখার সুযোগের সমতা।
6 Chouldechova এ (2016)। বৈষম্যমূলক প্রভাবের সাথে ন্যায্য ভবিষ্যদ্বাণী: পুনর্নির্মাণ পূর্বাভাস যন্ত্রে পক্ষপাতের একটি অধ্যয়ন।

সম্পদ