Fairness Indicators

Fairness Indicators 程式庫可讓你為二進位檔和多類別分類器輕鬆計算常用的公平性指標。你可以運用 Fairness Indicators 工具套件執行下列作業:

  • 為分類模型計算常用的公平性指標
  • 將子群組的模型效能與基準值或其他模型比較
  • 使用信賴區間來呈現具有統計顯著程度的差異
  • 針對多個閾值進行評估

你可以透過下列方式使用 Fairness Indicators:

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

資源

筆記本教學課程