ارزیابی مدل‌ها با داشبورد شاخص‌های انصاف [بتا]

انصاف شاخص برای TensorBoard را قادر می سازد محاسبات آسان از معیارهای عدالت معمول شناسایی های طبقه بندی شده باینری و multiclass. با این افزونه، می‌توانید ارزیابی‌های عادلانه را برای اجراهای خود تجسم کنید و به راحتی عملکرد را در گروه‌ها مقایسه کنید.

به طور خاص، Fairness Indicators برای TensorBoard به شما امکان می‌دهد عملکرد مدل را که در گروه‌های مشخصی از کاربران تقسیم شده است، ارزیابی و تجسم کنید. با فواصل اطمینان و ارزیابی در آستانه های متعدد نسبت به نتایج خود مطمئن باشید.

بسیاری از ابزارهای موجود برای ارزیابی نگرانی های انصاف در مجموعه داده ها و مدل های مقیاس بزرگ به خوبی کار نمی کنند. در گوگل، برای ما مهم است که ابزارهایی داشته باشیم که بتوانند روی سیستم های میلیارد کاربر کار کنند. انصاف شاخص اجازه خواهد داد که شما را به ارزیابی در سراسر هر اندازه مورد استفاده، در محیط TensorBoard و یا در COLAB .

الزامات

برای نصب Fairness Indicators برای TensorBoard، اجرا کنید:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

نسخه ی نمایشی

اگر شما به آزمون از شاخص عدالت در TensorBoard می خواهید، شما می توانید نتایج نمونه تحلیل TensorFlow مدل ارزیابی (eval_config.json، سنجش و فایل های قطعه) و یک دانلود demo.py جانبی از پلتفرم Google Cloud، در اینجا با استفاده از دستور زیر.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

به دایرکتوری حاوی فایل های دانلود شده بروید.

cd tensorboard_plugin_fairness_indicators

این ارزیابی داده است در بر اساس عمران نظرات مجموعه داده ، محاسبه شده با استفاده Tensorflow تجزیه و تحلیل مدل را model_eval_lib کتابخانه. همچنین شامل یک نمونه فایل داده خلاصه TensorBoard برای مرجع است.

demo.py ابزار یک فایل خلاصه TensorBoard داده ها، خواهد شد که توسط TensorBoard به عنوان خوانده شده به ارائه داشبورد انصاف شاخص (مشاهده می نویسد TensorBoard آموزش برای اطلاعات بیشتر بر روی فایل های داده خلاصه).

پرچم را به توان با استفاده demo.py ابزار:

• --logdir : دایرکتوری که در آن TensorBoard خواهد خلاصه ارسال
• --eval_result_output_dir : راهنمای حاوی نتایج ارزیابی توسط TFMA ارزیابی (دانلود شده را در آخرین مرحله)

اجرای demo.py ابزار برای نوشتن خلاصه نتایج در دایرکتوری ورود به سیستم:

python demo.py --logdir=. --eval_result_output_dir=.

اجرای TensorBoard:

tensorboard --logdir=.

این یک نمونه محلی را شروع می کند. پس از شروع نمونه محلی، پیوندی به ترمینال نمایش داده می شود. برای مشاهده داشبورد Fairness Indicators پیوند را در مرورگر خود باز کنید.

دمو کولب

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb شامل نسخه ی نمایشی پایان به پایان دادن به قطار و ارزیابی یک مدل و تجسم نتایج ارزیابی عدالت در TensorBoard.

استفاده

برای استفاده از شاخص های انصاف با داده ها و ارزیابی های خود:

1. آموزش یک مدل جدید و ارزیابی با استفاده از tensorflow_model_analysis.run_model_analysis یا tensorflow_model_analysis.ExtractEvaluateAndWriteResult API در model_eval_lib . برای قطعه کد را در چگونگی انجام این کار، و شاخص های عدالت COLAB اینجا .

2. ارسال انصاف شاخص خلاصه با استفاده از tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. TensorBoard را اجرا کنید

   • tensorboard --logdir=<logdir>
   • اجرای ارزیابی جدید را با استفاده از منوی کشویی در سمت چپ داشبورد برای تجسم نتایج انتخاب کنید.