Mengevaluasi Model dengan Dashboard Indikator Kewajaran [Beta]

Indikator Kewajaran

Indikator Keadilan untuk TensorBoard memungkinkan penghitungan metrik keadilan yang umum diidentifikasi dengan mudah untuk pengklasifikasi biner dan multikelas . Dengan plugin ini, Anda dapat memvisualisasikan evaluasi keadilan untuk lari Anda dan dengan mudah membandingkan kinerja antar grup.

Secara khusus, Indikator Kewajaran untuk TensorBoard memungkinkan Anda mengevaluasi dan memvisualisasikan performa model, yang dibagi ke dalam kelompok pengguna tertentu. Merasa yakin dengan hasil Anda dengan interval kepercayaan dan evaluasi pada berbagai ambang batas.

Banyak alat yang ada untuk mengevaluasi masalah keadilan tidak berfungsi dengan baik pada kumpulan data dan model berskala besar. Di Google, penting bagi kami untuk memiliki alat yang dapat bekerja pada sistem dengan miliaran pengguna. Indikator Kewajaran akan memungkinkan Anda mengevaluasi seluruh ukuran kasus penggunaan, di lingkungan TensorBoard atau di Colab .

Persyaratan

Untuk menginstal Indikator Kewajaran untuk TensorBoard, jalankan:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Demo

Jika Anda ingin menguji Indikator Kewajaran di TensorBoard, Anda dapat mendownload contoh hasil evaluasi Analisis Model TensorFlow (eval_config.json, file metrik dan plot) dan utilitas demo.py dari Google Cloud Platform, di sini menggunakan perintah berikut.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Arahkan ke direktori yang berisi file yang diunduh.

cd tensorboard_plugin_fairness_indicators

Data evaluasi ini didasarkan pada kumpulan data Civil Comments , yang dihitung menggunakan pustaka model_eval_lib Tensorflow Model Analysis. Ini juga berisi contoh file data ringkasan TensorBoard untuk referensi.

Utilitas demo.py menulis file data ringkasan TensorBoard, yang akan dibaca oleh TensorBoard untuk merender dasbor Indikator Kewajaran (Lihat tutorial TensorBoard untuk informasi selengkapnya tentang file data ringkasan).

Bendera yang akan digunakan dengan utilitas demo.py :

  • --logdir : Direktori tempat TensorBoard akan menulis ringkasannya
  • --eval_result_output_dir : Direktori berisi hasil evaluasi yang dievaluasi oleh TFMA (diunduh pada langkah terakhir)

Jalankan utilitas demo.py untuk menulis hasil ringkasan di direktori log:

python demo.py --logdir=. --eval_result_output_dir=.

Jalankan TensorBoard:

tensorboard --logdir=.

Ini akan memulai instance lokal. Setelah instance lokal dimulai, tautan ke terminal akan ditampilkan. Buka tautan di browser Anda untuk melihat dasbor Indikator Kewajaran.

Demo Kolab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb berisi demo menyeluruh untuk melatih dan mengevaluasi model serta memvisualisasikan hasil evaluasi keadilan di TensorBoard.

Penggunaan

Untuk menggunakan Indikator Kewajaran dengan data dan evaluasi Anda sendiri:

  1. Latih model baru dan evaluasi menggunakan tensorflow_model_analysis.run_model_analysis atau tensorflow_model_analysis.ExtractEvaluateAndWriteResult API di model_eval_lib . Untuk cuplikan kode tentang cara melakukan hal ini, lihat colab Indikator Kewajaran di sini .

  2. Tulis Ringkasan Indikator Kewajaran menggunakan API tensorboard_plugin_fairness_indicators.summary_v2 .

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. Jalankan TensorBoard

    • tensorboard --logdir=<logdir>
    • Pilih evaluasi baru yang dijalankan menggunakan drop-down di sisi kiri dasbor untuk memvisualisasikan hasilnya.