MinDiff เป็นเทคนิคการแก้ไขแบบจำลองที่พยายามทำให้การแจกแจงสองครั้งเท่ากัน ในทางปฏิบัติ สามารถใช้เพื่อปรับสมดุลอัตราความผิดพลาดในส่วนต่างๆ ของข้อมูลของคุณโดยการลงโทษความแตกต่างของการกระจาย
โดยปกติ คุณจะใช้ MinDiff เมื่อพยายามให้แน่ใจว่ากลุ่มมีความเป็นธรรม เช่น ลดความแตกต่างในอัตราที่ผิดพลาด (FPR) หรืออัตราลบเท็จ (FNR) ระหว่างส่วนของข้อมูลที่เป็นของคลาสที่ละเอียดอ่อนและส่วนที่มีประสิทธิภาพดีกว่า สำหรับการอภิปรายเชิงลึกเกี่ยวกับตัวชี้วัดความเป็นธรรม ให้ทบทวนวรรณกรรมในหัวข้อนี้ 1 2 3
MinDiff ทำงานอย่างไร
จากตัวอย่างสองชุดจากชุดข้อมูลของเรา MinDiff จะลงโทษโมเดลระหว่างการฝึกสำหรับความแตกต่างในการกระจายคะแนนระหว่างสองชุด ยิ่งทั้งสองชุดมีความแตกต่างกันน้อยลงตามคะแนนการทำนาย บทลงโทษที่จะถูกนำไปใช้ก็จะยิ่งน้อยลง
บทลงโทษถูกนำไปใช้โดยการเพิ่มองค์ประกอบให้กับการสูญเสียที่แบบจำลองใช้สำหรับการฝึกอบรม สามารถคิดได้ว่าเป็นการวัดความแตกต่างในการกระจายการทำนายแบบจำลอง ในขณะที่รถไฟจำลอง จะพยายามลดโทษให้น้อยที่สุดโดยนำการแจกแจงมาใกล้กันมากขึ้น ดังที่แสดงในกราฟด้านล่าง
การใช้ MinDiff อาจมาพร้อมกับการประนีประนอมกับประสิทธิภาพในการทำงานเดิม MinDiff สามารถมีประสิทธิภาพในขณะที่ไม่ทำให้ประสิทธิภาพลดลงเกินความต้องการของผลิตภัณฑ์ แต่การตัดสินใจสร้างสมดุลระหว่างประสิทธิภาพและประสิทธิผลของ MinDiff ควรทำโดยเจตนาโดยเจ้าของผลิตภัณฑ์ สำหรับตัวอย่างที่แสดงวิธีการใช้ MinDiff โปรดดู สมุดบันทึกกรณีศึกษาของการแก้ไขแบบจำลอง
ทรัพยากร
สำหรับบทช่วยสอนเกี่ยวกับการใช้ MinDiff กับโมเดลการจัดประเภทข้อความ โปรดดู ที่สมุดบันทึก MinDiff Keras
สำหรับบล็อกโพสต์บน MinDiff บนบล็อก TensorFlow โปรดดู ที่ การใช้ MinDiff เพื่อปรับปรุงโมเดลโพสต์บล็อก
สำหรับไลบรารี Model Remediation แบบเต็ม โปรดดูที่ model-remediation Github repo
Dwork, C. , Hardt, M. , Pitassi, T. , Reingold, O. , Zemel, R. (2011) ความเป็นธรรมผ่านการตระหนักรู้ ↩
Hardt, M. , Price, E. , Srebro, N. (2016). ความเท่าเทียมกันของโอกาสในการเรียนรู้ภายใต้การดูแล ↩
Chouldechova, A. (2016). การทำนายที่ยุติธรรมโดยมีผลกระทบที่แตกต่างกัน: การศึกษาความเอนเอียงในเครื่องมือทำนายการกระทำผิดซ้ำ ↩