הערכת מודלים באמצעות לוח המחוונים של מדדי ההגינות [ביטא]

מדדי הוגנות עבור TensorBoard מאפשרים חישוב קל של מדדי הוגנות המזוהים בדרך כלל עבור מסווגים בינאריים ורב -מעמדים . עם התוסף, אתה יכול לדמיין הערכות הוגנות עבור הריצות שלך ולהשוות בקלות ביצועים בין קבוצות.

במיוחד, אינדיקטורים להוגנות עבור TensorBoard מאפשרים לך להעריך ולהמחיש את ביצועי המודל, בחלוקה לקבוצות מוגדרות של משתמשים. הרגיש בטוח לגבי התוצאות שלך עם מרווחי סמך והערכות בספים מרובים.

כלים קיימים רבים להערכת חששות הוגנות אינם עובדים היטב על מערכי נתונים ומודלים בקנה מידה גדול. בגוגל חשוב לנו שיהיו כלים שיכולים לעבוד על מערכות של מיליארד משתמשים. אינדיקטורים להוגנות יאפשרו לך להעריך בכל גודל של מקרה שימוש, בסביבת TensorBoard או ב- Colab .

דרישות

כדי להתקין אינדיקטורים להוגנות עבור TensorBoard, הפעל:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

הַדגָמָה

אם ברצונך לבחון אינדיקטורים להוגנות ב-TensorBoard, תוכל להוריד תוצאות הערכת מודל TensorFlow לדוגמה (eval_config.json, קובצי מדדים ותרשים) וכלי עזר demo.py מ-Google Cloud Platform, כאן באמצעות הפקודה הבאה.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

נווט לספרייה המכילה קבצים שהורדת.

cd tensorboard_plugin_fairness_indicators

נתוני הערכה אלה מבוססים על מערך ההערות Civil , המחושב באמצעות ספריית model_eval_lib של Tensorflow Model Analysis. הוא מכיל גם קובץ נתונים לדוגמה של TensorBoard לעיון.

כלי השירות demo.py כותב קובץ נתוני סיכום של TensorBoard, שייקרא על ידי TensorBoard כדי להציג את לוח המחוונים של Fairness Indicators (עיין במדריך של TensorBoard למידע נוסף על קבצי נתוני סיכום).

דגלים לשימוש עם כלי השירות demo.py :

• --logdir : ספרייה שבה TensorBoard יכתוב את הסיכום
• --eval_result_output_dir : ספרייה המכילה תוצאות הערכה שהוערכו על ידי TFMA (הורדה בשלב האחרון)

הפעל את כלי השירות demo.py כדי לכתוב את תוצאות הסיכום בספריית היומן:

python demo.py --logdir=. --eval_result_output_dir=.

הפעל את TensorBoard:

tensorboard --logdir=.

זה יתחיל מופע מקומי. לאחר הפעלת המופע המקומי, יוצג קישור למסוף. פתח את הקישור בדפדפן שלך כדי להציג את לוח המחוונים של מדדי ההגינות.

הדגמה קולאב

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb מכיל הדגמה מקצה לקצה כדי להכשיר ולהעריך מודל ולהמחיש תוצאות הערכת הוגנות ב-TensorBoard.

נוֹהָג

כדי להשתמש במחווני ההגינות עם הנתונים וההערכות שלך:

1. אימון מודל חדש והעריך באמצעות tensorflow_model_analysis.run_model_analysis או tensorflow_model_analysis.ExtractEvaluateAndWriteResult API ב- model_eval_lib . לקטעי קוד כיצד לעשות זאת, עיין בשיתוף מדדי ההגינות כאן .

2. כתוב סיכום מדדי הוגנות באמצעות API tensorboard_plugin_fairness_indicators.summary_v2 .

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. הפעל את TensorBoard

   • tensorboard --logdir=<logdir>
   • בחר את הפעלת ההערכה החדשה באמצעות התפריט הנפתח בצד שמאל של לוח המחוונים כדי להמחיש את התוצאות.