Fairness Indicators

Fairness Indicators est une bibliothèque qui permet de calculer facilement des métriques d'équité couramment identifiées pour les classificateurs multiclasses et binaires. La suite d'outils Fairness Indicators vous permet d'effectuer les opérations suivantes :

  • Calculer des métriques d'équité couramment identifiées pour les modèles de classification
  • Comparer les performances d'un modèle dans des sous-groupes à une référence ou à d'autres modèles
  • Utiliser des intervalles de confiance pour faire apparaître des disparités pertinentes d'un point de vue statistique
  • Effectuer une évaluation sur plusieurs seuils

Vous pouvez utiliser la bibliothèque Fairness Indicators via les éléments suivants :

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

Ressources

Tutoriels sur les notebooks