تقييم النماذج باستخدام لوحة معلومات مؤشرات الإنصاف [تجريبي]

الإنصاف مؤشرات TensorBoard يمكن حساب سهل من مقاييس العدالة التي حددت بصفة عامة لالمصنفات الثنائية وmulticlass. باستخدام المكون الإضافي ، يمكنك تصور تقييمات الإنصاف لعمليات التشغيل الخاصة بك ومقارنة الأداء بسهولة عبر المجموعات.

على وجه الخصوص ، تتيح لك مؤشرات الإنصاف لـ TensorBoard تقييم أداء النموذج وتصوره ، مقسمًا عبر مجموعات محددة من المستخدمين. كن واثقًا من نتائجك من خلال فترات الثقة والتقييمات على عتبات متعددة.

لا تعمل العديد من الأدوات الحالية لتقييم مخاوف الإنصاف بشكل جيد على مجموعات البيانات والنماذج واسعة النطاق. في Google ، من المهم بالنسبة لنا أن يكون لدينا أدوات يمكنها العمل على أنظمة يستخدمها مليار مستخدم. مؤشرات النزاهة سوف تسمح لك لتقييم عبر أي حجم حالة استخدام في بيئة TensorBoard أو في Colab .

متطلبات

لتثبيت مؤشرات الإنصاف للوحة TensorBoard ، قم بتشغيل:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

تجريبي

إذا كنت ترغب في الاختبار مؤشرات الإنصاف في TensorBoard، يمكنك تحميل النتائج عينة تحليل TensorFlow نموذج تقييم (eval_config.json، المقاييس وملفات المؤامرات) و demo.py فائدة من منصة سحابة جوجل، هنا باستخدام الأمر التالي.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

انتقل إلى الدليل الذي يحتوي على الملفات التي تم تنزيلها.

cd tensorboard_plugin_fairness_indicators

هذه البيانات تقييم يقوم على أساس المدنية تعليقات مجموعة البيانات ، وتحسب باستخدام Tensorflow التحليل النموذجي model_eval_lib المكتبة. كما يحتوي أيضًا على نموذج لملف بيانات ملخص "لوحة TensorBoard" للرجوع إليها.

و demo.py فائدة يكتب ملف ملخص TensorBoard البيانات، والتي سيتم قراءتها من قبل TensorBoard لتقديم لوحة مؤشرات الإنصاف (انظر TensorBoard البرنامج التعليمي لمزيد من المعلومات حول ملفات البيانات ملخص).

أعلام لاستخدامها مع demo.py فائدة:

• --logdir : الدليل الذي سوف يكتب TensorBoard الموجز
• --eval_result_output_dir : دليل يحتوي على نتائج التقييم تقييمها من قبل TFMA (تحميل في الخطوة الأخيرة)

تشغيل demo.py فائدة لكتابة ملخص النتائج في دليل السجل:

python demo.py --logdir=. --eval_result_output_dir=.

تشغيل TensorBoard:

tensorboard --logdir=.

سيبدأ هذا مثيل محلي. بعد بدء المثيل المحلي ، سيتم عرض ارتباط إلى المحطة. افتح الرابط في متصفحك لعرض لوحة مؤشرات الإنصاف.

ديمو كولاب

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb يحتوي على عرض نهاية إلى نهاية للتدريب وتقييم نموذج وتصور نتائج التقييم الإنصاف في TensorBoard.

إستعمال

لاستخدام مؤشرات الإنصاف مع بياناتك وتقييماتك:

1. تدريب نموذج جديد وتقييم استخدام tensorflow_model_analysis.run_model_analysis أو tensorflow_model_analysis.ExtractEvaluateAndWriteResult API في model_eval_lib . لمقتطفات الشفرة حول كيفية القيام بذلك، راجع مؤشرات الإنصاف colab هنا .

2. إرسال مؤشرات الإنصاف ملخص باستخدام tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. قم بتشغيل TensorBoard

   • tensorboard --logdir=<logdir>
   • حدد تشغيل التقييم الجديد باستخدام القائمة المنسدلة على الجانب الأيسر من لوحة المعلومات لتصور النتائج.