Adillik Göstergeleri Panosuyla Modelleri Değerlendirme [Beta]

TensorBoard için Adil Göstergeler ikili ve çok sınıflı sınıflandırıcılar için yaygın olarak tanımlanan adalet ölçütlerinin kolay hesaplama sağlar. Eklenti ile, koşularınız için adalet değerlendirmelerini görselleştirebilir ve gruplar arasında performansı kolayca karşılaştırabilirsiniz.

Özellikle, TensorBoard için Adalet Göstergeleri, tanımlanmış kullanıcı grupları arasında dilimlenmiş model performansını değerlendirmenize ve görselleştirmenize olanak tanır. Güven aralıkları ve çoklu eşiklerde yapılan değerlendirmelerle sonuçlarınızdan emin olun.

Adaletle ilgili endişeleri değerlendirmek için mevcut birçok araç, büyük ölçekli veri kümeleri ve modellerde iyi çalışmaz. Google'da milyarlarca kullanıcılı sistemlerde çalışabilecek araçlara sahip olmak bizim için önemlidir. Adil Göstergeler Eğer TensorBoard ortamında veya, kullanım durumunda herhangi bir boyutta genelinde değerlendirmemizi sağlayacaktır CoLab .

Gereksinimler

TensorBoard için Adalet Göstergelerini yüklemek için şunu çalıştırın:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

demo

Eğer TensorBoard içinde Adil Göstergeleri dışarı testine isterseniz, örnek TensorFlow Modeli Analizi değerlendirme sonuçlarını (eval_config.json, ölçümleri ve araziler dosyaları) ve indirebilirsiniz demo.py Google Cloud Platformu'ndan programı burada aşağıdaki komutu kullanarak.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

İndirilen dosyaları içeren dizine gidin.

cd tensorboard_plugin_fairness_indicators

Dayanmaktadır Bu değerlendirme verileri Civil kümesi Yorumlar Tensorflow Modeli Analiz adlı kullanılarak hesaplanır, model_eval_lib kütüphanesi. Ayrıca referans için örnek bir TensorBoard özet veri dosyası içerir.

demo.py yarar Adil Göstergeler panosunu işlemek için TensorBoard tarafından okunacaktır bir TensorBoard özeti veri dosyası, (Bkz yazıyor TensorBoard öğretici özet verileri dosyaları hakkında daha fazla bilgi için).

Bayraklar ile kullanılacak demo.py programı:

• --logdir : Dizin TensorBoard özetini nerede yazacak
• --eval_result_output_dir : Dizin TFMA tarafından değerlendirilir değerlendirme sonuçlarını içeren (son adımda indirilmiş)

Run demo.py günlük dizininde özet sonuçlarını yazmaya yarar:

python demo.py --logdir=. --eval_result_output_dir=.

TensorBoard'u çalıştırın:

tensorboard --logdir=.

Bu, yerel bir örnek başlatacaktır. Yerel örnek başlatıldıktan sonra, terminale bir bağlantı görüntülenecektir. Adalet Göstergeleri panosunu görüntülemek için bağlantıyı tarayıcınızda açın.

Demo İşbirliği

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb trenle bir uçtan uca demo içerir ve TensorBoard bir model ve görselleştirmek adalet değerlendirme sonuçlarını değerlendirmek.

kullanım

Adalet Göstergelerini kendi veri ve değerlendirmelerinizle kullanmak için:

1. Yeni bir model tren ve kullanma değerlendirmek tensorflow_model_analysis.run_model_analysis veya tensorflow_model_analysis.ExtractEvaluateAndWriteResult içinde API model_eval_lib . Bunun nasıl kod snippet'lerini için Adil Göstergeler CoLab bakın burada .

2. Kullanarak Adil Göstergeler Özeti yaz tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. TensorBoard'u Çalıştırın

   • tensorboard --logdir=<logdir>
   • Sonuçları görselleştirmek için panonun sol tarafındaki açılır menüyü kullanarak yeni değerlendirme çalışmasını seçin.