ما هو نموذج العلاج؟

بمجرد إجراء التقييم المقطوع لأداء نموذج التعلم الآلي ، قد تلاحظ أن أداء النموذج الخاص بك ضعيف عبر شرائح معينة من البيانات. يمكن أن يؤدي هذا النوع من الأداء غير المتكافئ في بعض الأحيان إلى نتائج غير عادلة ومن المحتمل أن تكون ضارة لمجموعات فرعية ضعيفة من السكان. بشكل عام ، هناك ثلاثة أنواع أساسية من التدخلات الفنية لمعالجة مخاوف التحيز:

  • تغيير بيانات الإدخال: جمع المزيد من البيانات ، وتوليد البيانات التركيبية ، وضبط الأوزان ومعدلات أخذ العينات للشرائح المختلفة ، إلخ. 1
  • التدخل في النموذج: تغيير النموذج نفسه عن طريق إدخال أو تعديل أهداف النموذج ، وإضافة قيود ، وما إلى ذلك. 2
  • المعالجة اللاحقة للنتائج: تعديل مخرجات النموذج أو تفسير المخرجات لتحسين الأداء عبر المقاييس. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

ما هو MinDiff؟

MinDiff هي تقنية معالجة نموذجية تسعى إلى معادلة توزيعين. من الناحية العملية ، يمكن استخدامه لموازنة معدلات الخطأ عبر شرائح مختلفة من بياناتك من خلال معاقبة الاختلافات التوزيعية.

عادةً ما يطبق المرء MinDiff عند محاولة تقليل الاختلاف في المعدل الإيجابي الخاطئ (FPR) أو المعدل السلبي الخاطئ (FNR) بين شريحة البيانات التي تنتمي إلى فئة حساسة وشريحة ذات أداء أفضل. لإجراء مناقشة متعمقة لمقاييس الإنصاف ، راجع الأدبيات حول هذا الموضوع. 4 5 6

كيف يعمل MinDiff؟

بالنظر إلى مجموعتين من الأمثلة من مجموعة البيانات الخاصة بنا ، يعاقب MinDiff النموذج أثناء التدريب على الاختلافات في توزيع الدرجات بين المجموعتين. كلما كان التمييز أقل بين المجموعتين بناءً على درجات التنبؤ ، كلما كانت العقوبة التي سيتم تطبيقها أصغر.

يتم تطبيق العقوبة بإضافة عنصر إلى الخسارة التي يتدرب بها النموذج. يمكن اعتباره مقياسًا للاختلاف في توزيع تنبؤات النموذج. أثناء تدريب النموذج ، سيحاول تقليل العقوبة عن طريق تقريب التوزيعات من بعضها البعض ، كما في الرسم البياني أعلاه.

قد يأتي تطبيق MinDiff مع المفاضلات فيما يتعلق بالأداء في المهمة الأصلية. من الناحية العملية ، وجدنا غالبًا أن MinDiff فعال بينما لا يؤدي إلى تدهور الأداء بما يتجاوز احتياجات المنتج ، ولكن هذا يعتمد على التطبيق ويجب أن يتخذ مالك المنتج القرار عمدًا. للحصول على أمثلة توضح كيفية تنفيذ MinDiff ، راجع البرنامج التعليمي الخاص بالكمبيوتر الدفتري .

1 زانغ ، جي ، باي ، ب ، تشانغ ، جيه ، باي ، ك. ، تشو ، سي ، تشاو ، تي (2020). لا ينبغي أن تكون التركيبة السكانية هي سبب السمية: التخفيف من التمييز في تصنيفات النص مع ترجيح المثيل.
2 Prost، F.، Qian H.، Chen، Q.، Chi، E.، Chen، J.، Beutel، A. (2019). نحو مفاضلة أفضل بين الأداء والإنصاف من خلال مطابقة التوزيع القائمة على النواة.
3 العبد المحسن 1 (2020). التصنيف العادل عبر التحسين غير المقيد.
4 Dwork، C.، Hardt، M.، Pitassi، T.، Reingold، O.، Zemel، R. (2011). العدل من خلال الوعي.
5 Hardt، M.، Price، E.، Srebro، N. (2016). تكافؤ الفرص في التعلم الخاضع للإشراف.
6 Chouldechova، A. (2016). التنبؤ العادل بتأثير متباين: دراسة التحيز في أدوات التنبؤ بالعودة.

موارد