ตัวชี้วัดความเป็นธรรม

ตัวบ่งชี้ความเป็นธรรมคือไลบรารีที่ช่วยให้คำนวณเมตริกความเป็นธรรมที่ระบุโดยทั่วไปได้ง่ายสำหรับตัวแยกประเภทไบนารีและหลายคลาส ด้วยชุดเครื่องมือตัวบ่งชี้ความเป็นธรรม คุณสามารถ:

  • คำนวณตัววัดความเป็นธรรมที่ระบุโดยทั่วไปสำหรับแบบจำลองการจัดประเภท
  • เปรียบเทียบประสิทธิภาพของโมเดลระหว่างกลุ่มย่อยกับข้อมูลพื้นฐาน หรือกับรุ่นอื่นๆ
  • ใช้ช่วงความเชื่อมั่นเพื่อแสดงความแตกต่างที่มีนัยสำคัญทางสถิติ
  • ดำเนินการประเมินผ่านเกณฑ์หลายเกณฑ์

ใช้ตัวบ่งชี้ความเป็นธรรมผ่าน:

eval_config_pbtxt = """

model_specs {
    label_key: "%s"
}

metrics_specs {
    metrics {
        class_name: "FairnessIndicators"
        config: '{ "thresholds": [0.25, 0.5, 0.75] }'
    }
    metrics {
        class_name: "ExampleCount"
    }
}

slicing_specs {}
slicing_specs {
    feature_keys: "%s"
}

options {
    compute_confidence_intervals { value: False }
    disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)

ทรัพยากร