공정성 지표
공정성 지표는 바이너리 및 멀티클래스 분류 기준에 대해 일반적으로 식별되는 공정성 측정항목을 쉽게 연산할 수 있도록 지원하는 라이브러리입니다. 공정성 지표 도구 모음을 사용하면 다음을 수행할 수 있습니다.
- 분류 모델에 대해 일반적으로 식별되는 공정성 측정항목 연산
- 하위 그룹의 모델 실적을 기준 또는 다른 모델과 비교
- 신뢰 구간을 사용하여 통계적으로 유의미한 차이 표시
- 여러 기준에 대한 평가 수행
다음을 통해 공정성 지표를 사용할 수 있습니다.
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
