公平性インジケーター
公平性インジケーターは、バイナリ分類とマルチクラス分類の一般的な公平性指標を簡単に計算できるライブラリです。公平性インジケーター ツールスイートを使用すると、以下のことができます。
- 分類モデルの一般的な公平性指標を計算する
- 複数のサブグループにまたがるモデル パフォーマンスをベースラインや他のモデルと比較する
- 信頼区間を使用して統計的に有意な差異を明らかにする
- 複数のしきい値で評価を行う
公平性インジケーターは、以下を通じて利用できます。
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
