RSVP สำหรับกิจกรรม TensorFlow Everywhere ในพื้นที่ของคุณวันนี้!
หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

Model Remediation คืออะไร?

เมื่อคุณทำการ ประเมิน ประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงแบบแบ่งส่วนแล้วคุณอาจสังเกตเห็นว่าโมเดลของคุณมีประสิทธิภาพต่ำกว่าข้อมูลบางส่วน ประสิทธิภาพที่ไม่เท่าเทียมกันประเภทนี้บางครั้งอาจนำไปสู่ผลลัพธ์ที่ไม่เป็นธรรมและอาจเป็นอันตรายสำหรับกลุ่มย่อยที่เปราะบางของประชากร โดยทั่วไปมีการแทรกแซงทางเทคนิคหลักสามประเภทสำหรับการจัดการกับข้อกังวลเกี่ยวกับอคติ:

  • การเปลี่ยนข้อมูลอินพุต: รวบรวมข้อมูลมากขึ้นสร้างข้อมูลสังเคราะห์ปรับน้ำหนักและอัตราการสุ่มตัวอย่างของชิ้นส่วนต่างๆเป็นต้น 1
  • การแทรกแซงโมเดล: การเปลี่ยนโมเดลโดยการแนะนำหรือแก้ไขวัตถุประสงค์ของโมเดลเพิ่มข้อ จำกัด ฯลฯ 2
  • หลังการประมวลผลผลลัพธ์: การ แก้ไขผลลัพธ์ของแบบจำลองหรือการตีความผลลัพธ์เพื่อปรับปรุงประสิทธิภาพในเมตริก 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

MinDiff คืออะไร?

MinDiff เป็นเทคนิคการแก้ไขแบบจำลองที่พยายามทำให้สองการกระจายเท่ากัน ในทางปฏิบัติสามารถใช้เพื่อปรับสมดุลของอัตราความผิดพลาดในส่วนต่างๆของข้อมูลของคุณโดยการลงโทษความแตกต่างของการกระจาย

โดยทั่วไปจะใช้ MinDiff เมื่อพยายามลดความแตกต่างของอัตราผลบวกเท็จ (FPR) หรืออัตราค่าลบเท็จ (FNR) ระหว่างชิ้นข้อมูลที่เป็นของคลาสที่ละเอียดอ่อนและชิ้นส่วนที่มีประสิทธิภาพดีกว่า สำหรับการอภิปรายเชิงลึกเกี่ยวกับเมตริกความเป็นธรรมโปรดทบทวนวรรณกรรมในเรื่องนี้ 4 5 6

MinDiff ทำงานอย่างไร?

ด้วยตัวอย่างสองชุดจากชุดข้อมูลของเรา MinDiff จะลงโทษโมเดลระหว่างการฝึกสำหรับความแตกต่างในการกระจายคะแนนระหว่างทั้งสองชุด ยิ่งมีความแตกต่างน้อยกว่าทั้งสองชุดจะขึ้นอยู่กับคะแนนการทำนายผลก็จะยิ่งน้อยลงเท่านั้น

บทลงโทษจะถูกนำไปใช้โดยการเพิ่มส่วนประกอบให้กับการสูญเสียที่โมเดลกำลังฝึกอยู่ สามารถคิดได้ว่าเป็นการวัดความแตกต่างของการกระจายตัวของการทำนายแบบจำลอง ในขณะที่โมเดลฝึกมันจะพยายามลดโทษให้น้อยที่สุดโดยนำการแจกแจงเข้าใกล้กันดังในกราฟด้านบน

การใช้ MinDiff อาจมาพร้อมกับข้อแลกเปลี่ยนที่เกี่ยวกับประสิทธิภาพในงานดั้งเดิม ในทางปฏิบัติเรามักพบว่า MinDiff มีประสิทธิภาพในขณะที่ไม่ทำให้ประสิทธิภาพลดลงจนเกินความต้องการของผลิตภัณฑ์ แต่จะขึ้นอยู่กับการใช้งานและเจ้าของผลิตภัณฑ์ควรตัดสินใจโดยเจตนา สำหรับตัวอย่างที่แสดงวิธีการใช้งาน MinDiff โปรดดู บทแนะนำเกี่ยวกับโน้ตบุ๊กของเรา

1 Zhang, G. , Bai, B. , Zhang, J. , Bai, K. , Zhu, C. , Zhao, T. (2020) ข้อมูลประชากรไม่ควรเป็นสาเหตุของความเป็นพิษ: ลดการเลือกปฏิบัติในการจำแนกประเภทข้อความด้วยการให้น้ำหนักอินสแตนซ์
2 Prost, F. , Qian H. , Chen, Q. , Chi, E. , Chen, J. , Beutel, A. (2019) ไปสู่การแลกเปลี่ยนที่ดีขึ้นระหว่างประสิทธิภาพและความยุติธรรมด้วยการจับคู่การกระจายตามเคอร์เนล
3 Alabdulmohsin, I. (2020). การจัดประเภทที่เป็นธรรมผ่านการเพิ่มประสิทธิภาพแบบไม่มีข้อ จำกัด
4 Dwork, C. , Hardt, M. , Pitassi, T. , Reingold, O. , Zemel, R. (2011). ความเป็นธรรมผ่านการรับรู้
5 Hardt, M. , Price, E. , Srebro, N. (2016). ความเท่าเทียมกันของโอกาสในการเรียนรู้ภายใต้การดูแล
6 Chouldechova, A. (2016). การคาดการณ์ที่เป็นธรรมพร้อมผลกระทบที่แตกต่างกัน: การศึกษาความลำเอียงในเครื่องมือทำนายการกระทำผิดซ้ำ

ทรัพยากร