يعد اقتران السجل المضاد (CLP) أحد الأساليب الموجودة في مكتبة معالجة نماذج TensorFlow التي تسعى إلى ضمان عدم تغيير تنبؤ النموذج عند إزالة أو استبدال سمة حساسة تمت الإشارة إليها في أحد الأمثلة. على سبيل المثال، في مصنف السمية، لا ينبغي أن تحتوي الأمثلة مثل "أنا رجل" و"أنا مثلية" على تنبؤات مختلفة للسمية.
للحصول على مناقشة متعمقة حول هذا الموضوع، راجع البحث حول العدالة المغايرة للواقع ، والاقتران اللوغاريتمي المتعارض ، والاقتران اللوغاريتمي المخالف للواقع .
متى يجب عليك استخدام الاقتران اللوجيستي المضاد؟
يعالج CLP السيناريو الذي يؤدي فيه التغيير في السمة الحساسة المشار إليها في الميزة إلى تغيير التنبؤ (عندما لا ينبغي أن يتغير التنبؤ). ومن خلال القيام بذلك، يحاول الإجابة على السؤال: هل هذا النموذج عرضة لتغيير تنبؤاته بناءً على وجود سمة هوية فقط؟ راجع الورقة البحثية للحصول على تفاصيل حول العدالة المغايرة للواقع.
تمت ملاحظة هذه المشكلة في Perspective API ، وهي أداة تعلم الآلة يستخدمها المطورون والناشرون لتحليل محتوى التعليقات بحثًا عن نص يحتمل أن يكون مسيئًا أو سامًا . تأخذ واجهة برمجة التطبيقات Perspective نص التعليق كمدخل وترجع النتيجة من 0 إلى 1 كإشارة إلى احتمال أن يكون التعليق سامًا. على سبيل المثال، تعليق مثل "أنت أحمق" قد يحصل على درجة احتمال 0.8 للسمية، مما يشير إلى مدى احتمالية أن ينظر القارئ إلى هذا التعليق على أنه سام.
بعد الإطلاق الأولي لواجهة برمجة التطبيقات Perspective، اكتشف المستخدمون الخارجيون وجود علاقة إيجابية بين مصطلحات الهوية التي تحتوي على معلومات حول العرق أو التوجه الجنسي ودرجة السمية المتوقعة. على سبيل المثال، حصلت عبارة "أنا مثلية" على درجة 0.51، بينما حصلت عبارة "أنا رجل" على درجة أقل قدرها 0.2. في هذه الحالة، لم يتم استخدام مصطلحات الهوية بشكل ازدرائي، لذلك لا ينبغي أن يكون هناك فرق كبير في النتيجة. لمزيد من المعلومات حول Perspective API، راجع منشور المدونة حول التحيز غير المقصود ومصطلحات الهوية .
كيف يمكنني قياس تأثير الاقتران اللوغاريتمي المضاد؟
إذا قمت بتقييم نموذج التعلم الآلي الخاص بك وقررت أن التغييرات في التوقعات بسبب التغييرات في سمات حساسة معينة ستكون ضارة، فيجب عليك قياس مدى انتشار هذه المشكلة. في حالة المصنف الثنائي أو متعدد الفئات، يتم تعريف الوجه كمصنف يعطي قرارًا مختلفًا (مثل تغيير التنبؤ من سام إلى غير سام) عندما تتغير السمة الحساسة المشار إليها في المثال. عند تقييم مدى انتشار التقلبات ، يمكنك إلقاء نظرة على عدد التقلبات ومعدل التقلبات . من خلال الأخذ في الاعتبار الضرر المحتمل للمستخدم الذي يسببه الانقلاب وتكرار حدوث الانقلاب، يمكنك تحديد ما إذا كانت هذه مشكلة يجب معالجتها من خلال تطبيق CLP. لمزيد من المعلومات حول هذه المقاييس، راجع دليل مؤشرات العدالة .
ما هي أنواع النماذج التي يمكنني من خلالها تطبيق اقتران Logit المضاد؟
يمكن استخدام هذه التقنية مع المصنفات الثنائية ومتعددة الفئات لأنواع مختلفة من البيانات مثل النصوص والصور ومقاطع الفيديو.
متى يكون الاقتران اللوغاريتمي المضاد غير مناسب لي؟
CLP ليست الطريقة الصحيحة لجميع المواقف. على سبيل المثال، ليس من المناسب أن يؤدي وجود أو غياب مصطلح الهوية إلى تغيير تنبؤات المصنف بشكل شرعي. قد يكون هذا هو الحال إذا كان المُصنف يهدف إلى تحديد ما إذا كانت الميزة تشير إلى مجموعة هوية معينة. تكون هذه الطريقة أيضًا أقل تأثيرًا إذا لم يكن للارتباط غير المقصود بين نتيجة المصنف ومجموعة الهوية أي تداعيات سلبية على المستخدم.
يعد CLP مفيدًا لاختبار ما إذا كان نموذج اللغة أو مصنف السمية يغير مخرجاته بطريقة غير عادلة (على سبيل المثال تصنيف جزء من النص على أنه سام) وذلك ببساطة لأن مصطلحات مثل "أسود" و"مثلي الجنس" و"مسلم" موجودة في نص. ليس المقصود من CLP إجراء تنبؤات حول الأفراد، على سبيل المثال من خلال التلاعب بهوية الفرد. انظر هذه الورقة لمناقشة أكثر تفصيلا.
من المهم أن تضع في اعتبارك أن CLP هي إحدى التقنيات الموجودة في مجموعة أدوات الذكاء الاصطناعي المسؤول والتي تم تصميمها خصيصًا لمعالجة الموقف حيث تؤدي السمات الحساسة المشار إليها في الميزات إلى تغيير التنبؤ. اعتمادًا على النموذج الخاص بك وحالة الاستخدام، قد يكون من المهم أيضًا مراعاة ما إذا كانت هناك فجوات في الأداء للمجموعات المهمشة تاريخيًا، خاصة وأن CLP قد يؤثر على أداء المجموعة. يمكن تقييم ذلك باستخدام مؤشرات الإنصاف ومعالجتها بواسطة MinDiff الموجودة أيضًا في مكتبة TensorFlow Model Remediation Library.
يجب عليك أيضًا أن تفكر فيما إذا كان منتجك مناسبًا للاستخدام في التعلم الآلي على الإطلاق. إذا كان الأمر كذلك، فيجب تصميم سير عمل التعلم الآلي الخاص بك وفقًا للممارسات الموصى بها المعروفة مثل وجود مهمة نموذجية محددة جيدًا واحتياجات منتج واضحة.
كيف يعمل الاقتران اللوغاريتمي المضاد؟
يضيف CLP خسارة إلى النموذج الأصلي الذي يتم توفيره من خلال الاقتران اللوجيستي لمثال أصلي ومثال واقعي من مجموعة بيانات. من خلال حساب الفرق بين القيمتين، فإنك تعاقب الاختلافات في المصطلحات الحساسة التي تتسبب في تغيير تنبؤات المصنف الخاص بك. اعتمد هذا العمل على بحث حول الاقتران اللوغاريتمي المتعارض والاقتران اللوغاريتمي المضاد للواقع .