הערכת מודלים באמצעות לוח המחוונים של מדדי הוגנות [ביטא]

אינדיקטורים על הגינות כלפי TensorBoard מאפשרים חישוב קל של מדדי הגינות-מזוהים בדרך כלל עבור מסווגים בינארית multiclass. עם התוסף, אתה יכול לדמיין הערכות הוגנות עבור הריצות שלך ולהשוות בקלות ביצועים בין קבוצות.

בפרט, אינדיקטורים להוגנות עבור TensorBoard מאפשרים לך להעריך ולהמחיש את ביצועי המודל, בחלוקה לקבוצות מוגדרות של משתמשים. הרגיש בטוח לגבי התוצאות שלך עם מרווחי סמך והערכות בספים מרובים.

כלים קיימים רבים להערכת חששות הוגנות אינם עובדים היטב על מערכי נתונים ומודלים בקנה מידה גדול. בגוגל חשוב לנו שיהיו כלים שיכולים לעבוד על מערכות של מיליארד משתמשים. אינדיקטורים הגינות יאפשר לך להעריך פני כל גודל של מקרה השימוש, בסביבה TensorBoard או Colab .

דרישות

כדי להתקין אינדיקטורים להוגנות עבור TensorBoard, הפעל:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

הַדגָמָה

אם אתה רוצה לבדוק את גינות אינדיקטורים TensorBoard, אתה יכול להוריד מדגם תוצאות הערכת TensorFlow דגם ניתוח (eval_config.json, מדדים וקבצים חלקים) וכן demo.py שירות מ- Google Cloud Platform, כאן באמצעות פקוד הבאה.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

נווט לספרייה המכילה קבצים שהורדת.

cd tensorboard_plugin_fairness_indicators

נתוני הערכה זו מבוססת על האזרח תגובות במערך , מחושב באמצעות של ניתוח דגם Tensorflow model_eval_lib הספרייה. הוא מכיל גם קובץ נתונים לדוגמה של TensorBoard לעיון.

demo.py השירות כותב קובץ נתון סיכום TensorBoard, אשר ייקרא ע"י TensorBoard כדי להבהיר את לוח מחווני מחווני גינות (עיין TensorBoard הדרכה לקבלת מידע נוסף על קבצי נתוני סיכום).

דגלים לשמש עם demo.py השירות:

• --logdir : המדריך שבו TensorBoard יכתוב את הסיכום
• --eval_result_output_dir : תוצאות ההערכה המכיל Directory מוערכות על ידי TFMA (שהורדת בשלב האחרון)

הפעל את demo.py השירות כדי לכתוב את תוצאות הסיכום בספריית היומן:

python demo.py --logdir=. --eval_result_output_dir=.

הפעל את TensorBoard:

tensorboard --logdir=.

זה יתחיל מופע מקומי. לאחר הפעלת המופע המקומי, יוצג קישור למסוף. פתח את הקישור בדפדפן שלך כדי להציג את לוח המחוונים של מדדי ההגינות.

הדגמה קולאב

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb מכיל הדגמת מקצה לקצה כדי רכבת ולהעריך תוצאות הערכת גינות מודל חזותיים ב TensorBoard.

נוֹהָג

כדי להשתמש במחווני ההגינות עם הנתונים וההערכות שלך:

1. רכבת דגם חדש ולהעריך באמצעות tensorflow_model_analysis.run_model_analysis או tensorflow_model_analysis.ExtractEvaluateAndWriteResult API ב model_eval_lib . עבור קטעי קוד על איך לעשות את זה, לראות את מדדי גינות colab כאן .

2. כתוב גינות מחווני סיכום באמצעות tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. הפעל את TensorBoard

   • tensorboard --logdir=<logdir>
   • בחר את הפעלת ההערכה החדשה באמצעות התפריט הנפתח בצד שמאל של לוח המחוונים כדי להמחיש את התוצאות.