모델 수정이란 무엇입니까?

기계 학습 모델의 성능에 대한 슬라이스 평가 를 수행 한 후에는 모델이 특정 데이터 슬라이스에서 성능이 저조하다는 것을 알 수 있습니다. 이러한 유형의 불평등 한 성과는 때때로 취약한 인구 집단에게 불공정하고 잠재적으로 해로운 결과를 초래할 수 있습니다. 일반적으로 편향 문제를 해결하기위한 세 가지 기본 유형의 기술적 개입이 있습니다.

  • 입력 데이터 변경 : 더 많은 데이터 수집, 합성 데이터 생성, 다른 슬라이스의 가중치 및 샘플링 속도 조정 등 1
  • 모델에 개입 : 모델 목표를 도입 또는 변경하고 제약을 추가하는 등 모델 자체를 변경합니다. 2
  • 결과 후 처리 : 모델의 출력 또는 출력의 해석을 수정하여 메트릭 전반의 성능을 개선합니다.

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

MinDiff는 무엇입니까?

MinDiff는 두 분포를 균등화하려는 모델 수정 기술입니다. 실제로 분산 차이에 페널티를 적용하여 데이터의 여러 조각에서 오류율의 균형을 맞추는 데 사용할 수 있습니다.

일반적으로 민감한 클래스에 속하는 데이터 조각과 더 나은 성능 조각 사이의 FPR (false positive rate) 또는 FNR (false negative rate)의 차이를 최소화하려고 할 때 MinDiff를 적용합니다. 공정성 메트릭에 대한 심층적 인 논의는이 주제에 대한 문헌을 검토하십시오. 4 5 6

MinDiff는 어떻게 작동합니까?

데이터 세트에서 두 세트의 예제가 주어지면 MinDiff는 두 세트 간의 점수 분포 차이에 대해 훈련 중에 모델에 페널티를줍니다. 두 세트가 예측 점수를 기반으로 덜 구별 될수록 적용되는 페널티는 더 적습니다.

패널티는 모델이 학습하는 손실에 구성 요소를 추가하여 적용됩니다. 모델 예측 분포의 차이를 측정하는 것으로 생각할 수 있습니다. 모델이 학습 할 때 위의 그래프에서와 같이 분포를 더 가깝게 가져 와서 패널티를 최소화하려고합니다.

MinDiff를 적용하면 원래 작업의 성능과 관련하여 절충안이 생길 수 있습니다. 실제로, 우리는 종종 MinDiff가 제품 요구를 넘어서 성능을 저하시키지 않으면 서 효과적이라는 것을 발견했지만 이는 애플리케이션에 따라 다르며 제품 소유자가 의도적으로 결정해야합니다. MinDiff를 구현하는 방법을 보여주는 예제는 노트북 자습서를 참조하십시오.

1 Zhang, G., Bai, B., Zhang, J., Bai, K., Zhu, C., Zhao, T. (2020). 인구 통계가 독성의 원인이되어서는 안됩니다 : 인스턴스 가중치를 사용하여 텍스트 분류에서 차별 완화.
2 Prost, F., Qian H., Chen, Q., Chi, E., Chen, J., Beutel, A. (2019). 커널 기반 배포 일치를 사용하여 성능과 공정성 간의 더 나은 균형을 유지합니다.
3 Alabdulmohsin, I. (2020). 제약없는 최적화를 통한 공정한 분류.
4 Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). 인식을 통한 공정성.
5 Hardt, M., Price, E., Srebro, N. (2016). 지도 학습의 기회 평등.
6 Chouldechova, A. (2016). 서로 다른 영향을 미치는 공정한 예측 : 재범 예측 도구의 편향에 대한 연구.

자원