Mengevaluasi Model dengan Dasbor Indikator Kewajaran [Beta]

Keadilan Indikator untuk TensorBoard memungkinkan mudah perhitungan metrik keadilan yang biasa diidentifikasi untuk pengklasifikasi biner dan multiclass. Dengan plugin, Anda dapat memvisualisasikan evaluasi keadilan untuk lari Anda dan dengan mudah membandingkan kinerja di seluruh grup.

Secara khusus, Indikator Kewajaran untuk TensorBoard memungkinkan Anda mengevaluasi dan memvisualisasikan kinerja model, yang dibagi di antara kelompok pengguna yang ditentukan. Merasa yakin tentang hasil Anda dengan interval kepercayaan dan evaluasi di beberapa ambang batas.

Banyak alat yang ada untuk mengevaluasi masalah keadilan tidak berfungsi dengan baik pada kumpulan data dan model skala besar. Di Google, penting bagi kami untuk memiliki alat yang dapat bekerja pada sistem miliaran pengguna. Keadilan Indikator akan memungkinkan Anda untuk mengevaluasi di setiap ukuran dari kasus penggunaan, dalam lingkungan TensorBoard atau di CoLab .

Persyaratan

Untuk menginstal Indikator Kewajaran untuk TensorBoard, jalankan:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Demo

Jika Anda ingin tes keluar Indikator Keadilan dalam TensorBoard, Anda dapat men-download sampel Analisis TensorFlow Model hasil evaluasi (eval_config.json, metrik dan file plot) dan demo.py utilitas dari Google Cloud Platform, di sini menggunakan perintah berikut.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Arahkan ke direktori yang berisi file yang diunduh.

cd tensorboard_plugin_fairness_indicators

Data Evaluasi ini didasarkan pada Sipil Komentar dataset , dihitung dengan menggunakan Tensorflow Analisis Model model_eval_lib perpustakaan. Ini juga berisi contoh file data ringkasan TensorBoard untuk referensi.

The demo.py utilitas menulis file ringkasan TensorBoard data, yang akan dibaca oleh TensorBoard untuk membuat Keadilan Indikator dashboard (Lihat TensorBoard tutorial untuk informasi lebih lanjut tentang file ringkasan data).

Bendera yang akan digunakan dengan demo.py utilitas:

• --logdir : Directory mana TensorBoard akan menulis ringkasan
• --eval_result_output_dir : Direktori yang berisi hasil evaluasi dievaluasi oleh TFMA (download di langkah terakhir)

Jalankan demo.py utilitas untuk menulis hasil ringkasan dalam direktori log:

python demo.py --logdir=. --eval_result_output_dir=.

Jalankan TensorBoard:

tensorboard --logdir=.

Ini akan memulai instance lokal. Setelah instance lokal dimulai, tautan akan ditampilkan ke terminal. Buka tautan di browser Anda untuk melihat dasbor Indikator Kewajaran.

Demo Kolab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb berisi demo end-to-end untuk kereta dan mengevaluasi model dan memvisualisasikan hasil evaluasi keadilan dalam TensorBoard.

Penggunaan

Untuk menggunakan Indikator Kewajaran dengan data dan evaluasi Anda sendiri:

1. Melatih model baru dan mengevaluasi menggunakan tensorflow_model_analysis.run_model_analysis atau tensorflow_model_analysis.ExtractEvaluateAndWriteResult API di model_eval_lib . Untuk potongan kode tentang cara melakukannya, lihat Indikator Keadilan CoLab sini .

2. Menulis Keadilan Indikator Ringkasan menggunakan tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. Jalankan TensorBoard

   • tensorboard --logdir=<logdir>
   • Pilih proses evaluasi baru menggunakan drop-down di sisi kiri dasbor untuk memvisualisasikan hasil.