مساعدة في حماية الحاجز المرجاني العظيم مع TensorFlow على Kaggle تاريخ التحدي

ما هو نموذج العلاج؟

مرة واحدة كنت قد أنجزت تقييم شرائح من أداء نموذج التعلم الجهاز، قد تلاحظ أن النموذج الخاص بك والأداء الضعيف في شرائح معينة من البيانات. يمكن أن يؤدي هذا النوع من الأداء غير المتكافئ في بعض الأحيان إلى نتائج غير عادلة ومن المحتمل أن تكون ضارة لمجموعات فرعية ضعيفة من السكان. بشكل عام ، هناك ثلاثة أنواع أساسية من التدخلات الفنية لمعالجة مخاوف التحيز:

  • تغيير إدخال البيانات: جمع المزيد من البيانات، وتوليد البيانات الاصطناعية، وضبط الأوزان وأخذ العينات معدلات شرائح مختلفة، الخ 1
  • التدخل على غرار: تغيير النموذج نفسه من خلال إدخال أو أهداف نموذج تغيير، مضيفا القيود، الخ 2
  • بعد معالجة النتائج: تعديل مخرجات نموذج أو تفسير النتائج لتحسين الأداء عبر المقاييس. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

ما هو MinDiff؟

MinDiff هي تقنية معالجة نموذجية تسعى إلى معادلة توزيعين. من الناحية العملية ، يمكن استخدامه لموازنة معدلات الخطأ عبر شرائح مختلفة من بياناتك من خلال معاقبة اختلافات التوزيع.

عادةً ما يطبق المرء MinDiff عند محاولة تقليل الاختلاف في المعدل الإيجابي الخاطئ (FPR) أو المعدل السلبي الخاطئ (FNR) بين شريحة البيانات التي تنتمي إلى فئة حساسة وشريحة ذات أداء أفضل. للمناقشة المتعمقة لمقاييس الإنصاف ، راجع الأدبيات حول هذا الموضوع. 4 5 6

كيف يعمل MinDiff؟

بالنظر إلى مجموعتين من الأمثلة من مجموعة البيانات الخاصة بنا ، يعاقب MinDiff النموذج أثناء التدريب على الاختلافات في توزيع الدرجات بين المجموعتين. كلما كان التمييز أقل بين المجموعتين بناءً على درجات التنبؤ ، كلما كانت العقوبة التي سيتم تطبيقها أصغر.

يتم تطبيق العقوبة بإضافة عنصر إلى الخسارة التي يتدرب بها النموذج. يمكن اعتباره مقياسًا للاختلاف في توزيع تنبؤات النموذج. أثناء تدريب النموذج ، سيحاول تقليل العقوبة عن طريق تقريب التوزيعات من بعضها البعض ، كما في الرسم البياني أعلاه.

قد يأتي تطبيق MinDiff مع المفاضلات فيما يتعلق بالأداء في المهمة الأصلية. من الناحية العملية ، وجدنا غالبًا أن MinDiff فعال بينما لا يؤدي إلى تدهور الأداء بما يتجاوز احتياجات المنتج ، ولكن هذا يعتمد على التطبيق ويجب أن يتخذ مالك المنتج القرار عمدًا. للحصول على أمثلة توضح كيفية تنفيذ MinDiff، انظر لدينا دفتر تعليمي .

1 تشانغ، G.، باي، B.، تشانغ، J.، باي، K.، وقال تشو، C.، تشاو، T. (2020). لا ينبغي أن تكون التركيبة السكانية هي سبب السمية: التخفيف من التمييز في تصنيفات النص مع ترجيح المثيل.
2 بروست، F.، تشيان H.، تشن، Q.، تشي، E.، تشن، J.، بوتل، A. (2019). نحو مفاضلة أفضل بين الأداء والإنصاف من خلال مطابقة التوزيع القائمة على النواة.
3 Alabdulmohsin، I. (2020). تصنيف عادل عبر تحسين غير مقيد.
4 Dwork، C.، هارت، M.، Pitassi، T.، رينغولد، O.، Zemel، R. (2011). العدل من خلال الوعي.
5 هارت، M.، الأسعار، E.، Srebro، N. (2016). تكافؤ الفرص في التعلم الخاضع للإشراف.
6 Chouldechova، A. (2016). التنبؤ العادل بتأثير متباين: دراسة التحيز في أدوات التنبؤ بالعودة إلى الإجرام.

موارد