עזרה להגן על שונית המחסום הגדולה עם TensorFlow על Kaggle הצטרפו אתגר

מהו שיקום מודל?

לאחר שבצעת הערכה פרוס של ביצועי מודל למידת מכונה, ייתכן שתבחין כי המודל שלך הוא מתפקד לאורך פרוסות מסוימות של נתונים. סוג זה של ביצועים לא שוויוניים יכול לפעמים להוביל לתוצאות לא הוגנות ועלולות להזיק עבור תת קבוצות פגיעות של האוכלוסייה. באופן כללי, ישנם שלושה סוגים עיקריים של התערבויות טכניות לטיפול בחששות הטיה:

  • שינוי נתוני הקלט: איסוף נתונים נוספים, יצירת נתונים סינתטי, התאמת משקולות הדגימה שיעורי פרוסות שונים, וכו '1
  • התערבות לדגם: שינוי המודל עצמו על ידי החדרת או מטרות מודל שינוי, הוספת אילוצים, וכו '2
  • לאחר עיבוד התוצאות: שינוי פלטי של המודל או הפרשנות של יציאות כדי לשפר את הביצועים בכל המדדים. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

מה זה MinDiff?

MinDiff היא טכניקת שיקום מודל המבקשת להשוות שתי התפלגות. בפועל, ניתן להשתמש בו כדי לאזן את שיעורי השגיאות על פני חלקים שונים של הנתונים שלך על ידי ענישה של הבדלי התפלגות.

בדרך כלל, מיישמת MinDiff כאשר מנסים למזער את ההבדל בשיעור חיובי שגוי (FPR) או שיעור שלילי שגוי (FNR) בין נתח נתונים השייכים למחלקה רגישה לבין נתח בעל ביצועים טובים יותר. לדיון מעמיק במדדי הוגנות, סקור את הספרות בנושא זה. 4 5 6

איך MinDiff עובד?

בהינתן שתי קבוצות של דוגמאות ממערך הנתונים שלנו, MinDiff מענישה את המודל במהלך האימון על הבדלים בהתפלגות הציונים בין שני הקבוצות. ככל ששתי הקבוצות פחות ניתנות להבדלה מבוססות על ציוני חיזוי, כך העונש שיופעל קטן יותר.

העונש מוחל על ידי הוספת מרכיב להפסד איתו מתאמן הדוגמנית. אפשר לחשוב על זה כמדידה של ההבדל בהתפלגות של תחזיות מודל. כשהמודל מתאמן, הוא ינסה למזער את העונש על ידי קירוב ההתפלגויות, כמו בגרף לעיל.

יישום MinDiff עשוי לבוא עם פשרות ביחס לביצועים במשימה המקורית. בפועל, לעתים קרובות מצאנו ש-MinDiff יעילה תוך שהיא אינה פוגעת בביצועים מעבר לצרכי המוצר, אך הדבר יהיה תלוי ביישום וההחלטה צריכה להתקבל בכוונה על ידי בעל המוצר. לדוגמאות מראה כיצד ליישם MinDiff, לראות הדרכה מחברת שלנו .

1 ג'אנג, G., Bai, B., ז'אנג, J., Bai, ק ', ג' ו, ג, זאו, ט (2020). דמוגרפיה לא צריכה להיות הסיבה לרעילות: הפחתת אפליה בסיווגי טקסט עם שקלול מופעים.
2 פרוסט, פ, צ'יאן H., חן, ש, צ, א, חן, J., Beutel, א (2019). לקראת פשרה טובה יותר בין ביצועים והוגנות עם התאמת הפצה מבוססת ליבה.
3 Alabdulmohsin, I. (2020). סיווג הוגן באמצעות אופטימיזציה ללא הגבלה.
4 Dwork, ג, הארדט, M., Pitassi, ט, ריינגולד, O., זמל, ר '(2011). הוגנות דרך מודעות.
5 הארדט, M., מחיר, E., סרברו, N. (2016). שוויון הזדמנויות בלמידה מפוקחת.
6 Chouldechova, א (2016). חיזוי הוגן עם השפעה שונה: מחקר על הטיה במכשירי חיזוי רצידיביזם.

אֶמְצָעִי