اصلاح مدل چیست؟
هنگامی که ارزیابی مقطعی عملکرد مدل یادگیری ماشین را انجام دادید ، ممکن است متوجه شوید که مدل شما در برشهای خاصی از داده ها عملکرد کمتری دارد. این نوع عملکرد نابرابر گاهی می تواند منجر به نتایج ناعادلانه و بالقوه مضر برای زیر مجموعه های آسیب پذیر جمعیت شود. به طور کلی ، سه نوع اصلی مداخلات فنی برای رفع نگرانی های سوگیری وجود دارد:
- تغییر داده های ورودی: جمع آوری داده های بیشتر ، تولید داده های مصنوعی ، تنظیم وزن و نرخ نمونه برداری از برش های مختلف و غیره 1
- مداخله در مدل: تغییر مدل با معرفی یا تغییر اهداف مدل ، افزودن محدودیت ها و غیره. 2
- پس از پردازش نتایج: اصلاح خروجی های مدل یا تفسیر خروجی ها برای بهبود عملکرد در معیارها. 3
from tensorflow_model_remediation import min_diff import tensorflow as tf # Start by defining a Keras model. original_model = ... # Set the MinDiff weight and choose a loss. min_diff_loss = min_diff.losses.MMDLoss() min_diff_weight = 1.0 # Hyperparamater to be tuned. # Create a MinDiff model. min_diff_model = min_diff.keras.MinDiffModel( original_model, min_diff_loss, min_diff_weight) # Compile the MinDiff model normally. min_diff_model.compile(...) # Create a MinDiff Dataset and train the min_diff_model. min_diff_model.fit(min_diff_dataset, ...)
MinDiff چیست؟
MinDiff یک روش اصلاح مدل است که می خواهد دو توزیع را برابر کند. در عمل ، با جریمه کردن اختلاف توزیع ، می توان از آن برای تعادل بخشیدن به میزان خطا در برش های مختلف داده های شما استفاده کرد.
به طور معمول ، شخص MinDiff را هنگام تلاش برای به حداقل رساندن اختلاف در میزان مثبت کاذب (FPR) یا نرخ منفی کاذب (FNR) بین برشی از داده های متعلق به یک کلاس حساس و برشی با عملکرد بهتر به کار می برد. برای بحث عمیق در مورد معیارهای عدالت ، ادبیات مربوط به این موضوع را مرور کنید. 4 5 6
MinDiff چگونه کار می کند؟
با توجه به دو مجموعه مثال از مجموعه داده های ما ، MinDiff در حین آموزش به دلیل تفاوت در توزیع نمرات بین دو مجموعه ، این مدل را جریمه می کند. هرچه این دو مجموعه کمتر بر اساس امتیازات پیش بینی متمایز شوند ، مجازات اعمال شده کمتر خواهد بود.
مجازات با افزودن م componentلفه ای به ضررهایی که مدل با آن تمرین می کند ، اعمال می شود. می توان آن را به عنوان اندازه گیری تفاوت توزیع پیش بینی های مدل در نظر گرفت. همانطور که مدل آموزش می بیند ، سعی می کند مانند نمودار فوق ، با تقریب توزیع ها جریمه را به حداقل برساند.
استفاده از MinDiff ممکن است با توجه به عملکرد وظیفه اصلی با مبادله همراه باشد. در عمل ، ما اغلب MinDiff را م whileثر دانسته ایم ، در حالی که عملکرد فراتر از نیاز محصول را خراب نمی کند ، اما این به برنامه بستگی دارد و تصمیم باید به طور عمدی توسط صاحب محصول گرفته شود. برای مثالهایی که نحوه اجرای MinDiff را نشان می دهد ، به آموزش نوت بوک ما مراجعه کنید.
1 ژانگ ، جی ، بای ، بی. ، ژانگ ، جی ، بای ، ك. ، ژو ، سی. ، ژائو ، ت. (2020). جمعیت شناسی نباید دلیل سمیت باشد: کاهش تبعیض در طبقه بندی متن با وزن دهی نمونه.2 Prost، F.، Qian H.، Chen، Q.، Chi، E.، Chen، J.، Beutel، A. (2019). به سوی یک داد و ستد بهتر بین عملکرد و انصاف با تطبیق توزیع مبتنی بر هسته.
3 Alabdulmohsin ، I. (2020) طبقه بندی عادلانه از طریق بهینه سازی غیرقانونی.
4 Dwork ، C. ، Hardt ، M. ، Pitassi ، T. ، Reingold ، O. ، Zemel ، R. (2011). انصاف از طریق آگاهی.
5 Hardt ، M. ، Price ، E. ، Srebro ، N. (2016). برابری فرصت در یادگیری نظارت شده.
6 Chouldechova، A. (2016). پیش بینی منصفانه با تأثیر متفاوت: مطالعه تعصب در ابزار پیش بینی تکرار جرم
