Indicadores de imparcialidade

A biblioteca Fairness Indicators de indicadores de imparcialidade permite o cálculo fácil de métricas de integridade frequentemente identificadas para classificadores binários e multiclasse. Com o pacote de ferramentas de indicadores de imparcialidade, você pode:

  • calcular métricas de imparcialidade frequentemente identificadas para modelos de classificação;
  • comparar o desempenho do modelo em subgrupos com uma linha de base ou com outros modelos;
  • usar intervalos de confiança para mostrar disparidades estatisticamente significativas;
  • fazer avaliações em vários limites.

Use indicadores de imparcialidade por meio de:

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

Recursos

Tutoriais de notebook