اصلاح مدل چیست؟
هنگامی که ارزیابی تکه تکه از عملکرد مدل یادگیری ماشین را انجام دادید ، ممکن است متوجه شوید که مدل شما در برشهای خاصی از داده ها عملکرد کمتری دارد. این نوع عملکرد نابرابر گاهی می تواند منجر به نتایج ناعادلانه و بالقوه مضر برای زیر مجموعه های آسیب پذیر جمعیت شود. به طور کلی ، سه نوع اصلی مداخلات فنی برای رفع نگرانی های سوگیری وجود دارد:
- تغییر داده های ورودی: جمع آوری داده های بیشتر ، تولید داده های مصنوعی ، تنظیم اوزان و نرخ نمونه برداری از برش های مختلف و غیره 1
- مداخله در مدل: تغییر مدل با معرفی یا تغییر اهداف مدل ، افزودن محدودیت ها و غیره. 2
- پس از پردازش نتایج: اصلاح خروجی های مدل یا تفسیر خروجی ها برای بهبود عملکرد در معیارها. 3
from tensorflow_model_remediation import min_diff import tensorflow as tf # Start by defining a Keras model. original_model = ... # Set the MinDiff weight and choose a loss. min_diff_loss = min_diff.losses.MMDLoss() min_diff_weight = 1.0 # Hyperparamater to be tuned. # Create a MinDiff model. min_diff_model = min_diff.keras.MinDiffModel( original_model, min_diff_loss, min_diff_weight) # Compile the MinDiff model normally. min_diff_model.compile(...) # Create a MinDiff Dataset and train the min_diff_model. min_diff_model.fit(min_diff_dataset, ...)
MinDiff چیست؟
MinDiff یک روش اصلاح مدل است که می خواهد دو توزیع را برابر کند. در عمل ، با جریمه کردن اختلافات توزیعی ، می توان از آن برای تعادل بخشیدن به میزان خطا در برشهای مختلف داده های شما استفاده کرد.
به طور معمول ، شخص MinDiff را هنگام تلاش برای به حداقل رساندن اختلاف میزان مثبت کاذب (FPR) یا نرخ منفی کاذب (FNR) بین برشی از داده های متعلق به یک کلاس حساس و برشی با عملکرد بهتر به کار می برد. برای بحث عمیق در مورد معیارهای عدالت ، ادبیات مربوط به این موضوع را مرور کنید. 4 5 6
MinDiff چگونه کار می کند؟
با توجه به دو مجموعه مثال از مجموعه داده های ما ، MinDiff مدل را در حین آموزش به دلیل تفاوت در توزیع نمرات بین این دو مجموعه جریمه می کند. هرچه این دو مجموعه کمتر بر اساس امتیازات پیش بینی متمایز شوند ، مجازات اعمال شده کمتر خواهد بود.
مجازات با افزودن م componentلفه ای به ضررهایی که مدل با آن تمرین می کند ، اعمال می شود. می توان آن را به عنوان اندازه گیری تفاوت توزیع پیش بینی های مدل در نظر گرفت. همانطور که مدل آموزش می بیند ، سعی می کند مانند نمودار فوق ، با تقریب توزیع ها ، جریمه را به حداقل برساند.
استفاده از MinDiff ممکن است با توجه به عملکرد وظیفه اصلی با مبادله همراه باشد. در عمل ، ما اغلب MinDiff را م foundثر دانسته ایم در حالی که عملکرد فراتر از نیاز محصول را خراب نمی کند ، اما این امر به برنامه بستگی دارد و تصمیم باید توسط صاحب محصول به عمد گرفته شود. برای مثالهایی که نحوه اجرای MinDiff را نشان می دهد ، به آموزش نوت بوک ما مراجعه کنید.
1 ژانگ ، جی ، بای ، بی. ، ژانگ ، جی ، بای ، ك. ، ژو ، سی. ، ژائو ، ت. (2020). جمعیت شناسی نباید دلیل مسمومیت باشد: کاهش تبعیض در طبقه بندی متن با وزن دهی نمونه.2 Prost، F.، Qian H.، Chen، Q.، Chi، E.، Chen، J.، Beutel، A. (2019). به سوی یک داد و ستد بهتر بین عملکرد و انصاف با تطبیق توزیع مبتنی بر هسته.
3 Alabdulmohsin ، I. (2020) طبقه بندی عادلانه از طریق بهینه سازی غیرقانونی.
4 Dwork ، C. ، Hardt ، M. ، Pitassi ، T. ، Reingold ، O. ، Zemel ، R. (2011). انصاف از طریق آگاهی.
5 Hardt ، M. ، Price ، E. ، Srebro ، N. (2016). برابری فرصت در یادگیری نظارت شده.
6 Chouldechova، A. (2016). پیش بینی عادلانه با تأثیر متفاوت: مطالعه تعصب در ابزارهای پیش بینی تکرار جرم
