การประเมินแบบจำลองด้วยแดชบอร์ดตัวบ่งชี้ความเป็นธรรม [เบต้า]

ความเป็นธรรมสำหรับตัวชี้วัด TensorBoard ช่วยให้การคำนวณง่ายของตัวชี้วัดความเป็นธรรมร่วมกันระบุลักษณนามไบนารีและ multiclass ด้วยปลั๊กอินนี้ คุณสามารถเห็นภาพการประเมินความเป็นธรรมสำหรับการวิ่งของคุณและเปรียบเทียบประสิทธิภาพระหว่างกลุ่มต่างๆ ได้อย่างง่ายดาย

โดยเฉพาะอย่างยิ่ง ตัวบ่งชี้ความเป็นธรรมสำหรับ TensorBoard ช่วยให้คุณประเมินและแสดงภาพประสิทธิภาพของแบบจำลอง โดยแบ่งส่วนตามกลุ่มผู้ใช้ที่กำหนดไว้ รู้สึกมั่นใจในผลลัพธ์ของคุณด้วยช่วงความมั่นใจและการประเมินที่หลายเกณฑ์

เครื่องมือที่มีอยู่จำนวนมากสำหรับการประเมินข้อกังวลด้านความเป็นธรรมนั้นใช้งานไม่ได้กับชุดข้อมูลและแบบจำลองขนาดใหญ่ ที่ Google การมีเครื่องมือที่สามารถทำงานบนระบบที่มีผู้ใช้หลายพันล้านคนเป็นสิ่งสำคัญสำหรับเรา ความเป็นธรรมชี้วัดจะช่วยให้คุณสามารถประเมินทั่วขนาดของกรณีการใช้งานใด ๆ ในสภาพแวดล้อม TensorBoard หรือ Colab

ความต้องการ

ในการติดตั้ง Fairness Indicators สำหรับ TensorBoard ให้เรียกใช้:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

การสาธิต

หากคุณต้องการที่จะทดสอบความเป็นธรรมจากตัวชี้วัดใน TensorBoard คุณสามารถดาวน์โหลดผลตัวอย่าง TensorFlow รูปแบบการวิเคราะห์ประเมินผล (eval_config.json ตัวชี้วัดและไฟล์แปลง) และ demo.py ยูทิลิตี้จากแพลตฟอร์มคลาวด์ของ Google ที่นี่ โดยใช้คำสั่งดังต่อไปนี้

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

ไปที่ไดเร็กทอรีที่มีไฟล์ที่ดาวน์โหลด

cd tensorboard_plugin_fairness_indicators

ข้อมูลการประเมินผลนี้จะขึ้นอยู่กับ พลเรือนคอมเมนต์ชุดข้อมูลที่ คำนวณโดยใช้รูปแบบการวิเคราะห์ Tensorflow ของ model_eval_lib ห้องสมุด นอกจากนี้ยังมีไฟล์ข้อมูลสรุป TensorBoard ตัวอย่างสำหรับการอ้างอิง

demo.py ยูทิลิตี้เขียนไฟล์ข้อมูล TensorBoard สรุปซึ่งจะถูกอ่านโดย TensorBoard เพื่อแสดงความเป็นธรรมชี้วัดแดชบอร์ด (ดู TensorBoard กวดวิชา สำหรับข้อมูลเพิ่มเติมเกี่ยวกับไฟล์ข้อมูลสรุป)

ธงที่จะใช้กับ demo.py ยูทิลิตี้:

• --logdir : Directory ที่ TensorBoard จะเขียนสรุป
• --eval_result_output_dir : Directory ที่มีผลการประเมินการประเมินโดย Tfma (ดาวน์โหลดในขั้นตอนที่ผ่านมา)

เรียกใช้ demo.py ยูทิลิตี้ที่จะเขียนสรุปผลในไดเรกทอรีบันทึก:

python demo.py --logdir=. --eval_result_output_dir=.

เรียกใช้ TensorBoard:

tensorboard --logdir=.

สิ่งนี้จะเริ่มต้นอินสแตนซ์ในเครื่อง หลังจากที่อินสแตนซ์ในเครื่องเริ่มต้นขึ้น ลิงก์จะแสดงไปยังเทอร์มินัล เปิดลิงก์ในเบราว์เซอร์ของคุณเพื่อดูแดชบอร์ดตัวบ่งชี้ความเป็นธรรม

สาธิต Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb มีการสาธิตแบบ end-to-end การฝึกอบรมและประเมินผลการศึกษารูปแบบและเห็นภาพความเป็นธรรมผลการประเมินใน TensorBoard

การใช้งาน

ในการใช้เครื่องบ่งชี้ความเป็นธรรมกับข้อมูลและการประเมินของคุณเอง:

1. รถไฟรุ่นใหม่และประเมินผลการใช้ tensorflow_model_analysis.run_model_analysis หรือ tensorflow_model_analysis.ExtractEvaluateAndWriteResult API ใน model_eval_lib สำหรับตัวอย่างโค้ดในการทำเช่นนี้ให้ดูที่ความเป็นธรรมชี้วัด Colab ที่นี่

2. เขียนความเป็นธรรมชี้วัดสรุปใช้ tensorboard_plugin_fairness_indicators.summary_v2 API

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. เรียกใช้ TensorBoard

   • tensorboard --logdir=<logdir>
   • เลือกการดำเนินการประเมินใหม่โดยใช้ดรอปดาวน์ทางด้านซ้ายของแดชบอร์ดเพื่อแสดงผลลัพธ์