공정성 지표

공정성 표시기는 바이너리 및 다중 클래스 분류기에 대해 일반적으로 식별되는 공정성 메트릭을 쉽게 계산할 수있는 라이브러리입니다. 공정성 지표 도구 모음을 사용하여 다음을 수행 할 수 있습니다.

  • 분류 모델에 대해 일반적으로 식별되는 공정성 메트릭 계산
  • 하위 그룹 전체의 모델 성능을 기준 또는 다른 모델과 비교
  • 신뢰 구간을 사용하여 통계적으로 유의 한 불일치를 표시
  • 여러 임계 값에 대한 평가 수행

다음을 통해 공정성 지표 사용 :

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

자원