Indicateurs pour l' équité TensorBoard permet le calcul facile des mesures d'équité communément identifiés pour classificateurs binaires et multiclassent. Avec le plugin, vous pouvez visualiser les évaluations d'équité pour vos courses et comparer facilement les performances entre les groupes.
En particulier, les indicateurs d'équité pour TensorBoard vous permettent d'évaluer et de visualiser les performances du modèle, réparties sur des groupes d'utilisateurs définis. Ayez confiance en vos résultats avec des intervalles de confiance et des évaluations à plusieurs seuils.
De nombreux outils existants pour évaluer les problèmes d'équité ne fonctionnent pas bien sur des ensembles de données et des modèles à grande échelle. Chez Google, il est important pour nous de disposer d'outils capables de fonctionner sur des systèmes d'un milliard d'utilisateurs. Les indicateurs d' équité vous permettra d'évaluer à travers toute taille de cas d' utilisation, dans l'environnement TensorBoard ou Colab .
Exigences
Pour installer les indicateurs d'équité pour TensorBoard, exécutez :
python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators
Démo
Si vous voulez tester les indicateurs d' équité dans TensorBoard, vous pouvez télécharger l' échantillon tensorflow Modèle d'évaluation des résultats d' analyse (eval_config.json, paramètres et fichiers parcelles) et un demo.py utilitaire de Google Cloud Platform, ici en utilisant la commande suivante.
pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .
Accédez au répertoire contenant les fichiers téléchargés.
cd tensorboard_plugin_fairness_indicators
Ces données d'évaluation est basée sur l' ensemble de données civil Commentaires , calculé à l' aide de tensorflow modèle d' analyse model_eval_lib bibliothèque. Il contient également un exemple de fichier de données récapitulatives TensorBoard à titre de référence.
Le demo.py utilitaire écrit un fichier de données de synthèse de TensorBoard, qui sera lu par TensorBoard pour rendre le tableau de bord des indicateurs d' équité (voir le tutoriel TensorBoard pour plus d' informations sur les fichiers de données de synthèse).
Les drapeaux à utiliser avec l' demo.py utilitaire:
-
--logdir: Répertoire où TensorBoard rédigera le résumé -
--eval_result_output_dir: Répertoire contenant les résultats d'évaluation évalués par TFMA (téléchargé en dernière étape)
Exécutez le demo.py utilitaire pour écrire les résultats sommaires dans le répertoire du journal:
python demo.py --logdir=. --eval_result_output_dir=.
Exécutez TensorBoard :
tensorboard --logdir=.
Cela démarrera une instance locale. Une fois l'instance locale démarrée, un lien s'affichera vers le terminal. Ouvrez le lien dans votre navigateur pour afficher le tableau de bord des indicateurs d'équité.
Démo Colab
Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb contient une démonstration de bout en bout pour former et évaluer un modèle et de visualiser les résultats de l' évaluation de l' équité dans TensorBoard.
Usage
Pour utiliser les indicateurs d'équité avec vos propres données et évaluations :
Former un nouveau modèle et d' évaluer l' utilisation
tensorflow_model_analysis.run_model_analysisoutensorflow_model_analysis.ExtractEvaluateAndWriteResultAPI dans model_eval_lib . Pour des extraits de code sur la façon de ce faire, voir les indicateurs d' équité colab ici .Écrire des indicateurs d' équité Résumé utilisant
tensorboard_plugin_fairness_indicators.summary_v2API.writer = tf.summary.create_file_writer(<logdir>) with writer.as_default(): summary_v2.FairnessIndicators(<eval_result_dir>, step=1) writer.close()Exécuter TensorBoard
-
tensorboard --logdir=<logdir> - Sélectionnez la nouvelle exécution d'évaluation à l'aide du menu déroulant sur le côté gauche du tableau de bord pour visualiser les résultats.
-