Yerel TensorFlow Everywhere etkinliğiniz için bugün LCV!
Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

Model Düzeltme nedir?

Bir makine öğrenimi modelinin performansının dilimlenmiş değerlendirmesini yaptıktan sonra, modelinizin belirli veri dilimlerinde düşük performans gösterdiğini fark edebilirsiniz. Bu tür eşitsiz performans, bazen nüfusun savunmasız alt kümeleri için adil olmayan ve potansiyel olarak zararlı sonuçlara yol açabilir. Genel olarak, önyargı endişelerini gidermek için üç ana teknik müdahale türü vardır:

  • Giriş verilerini değiştirmek: Daha fazla veri toplamak, sentetik veri oluşturmak, farklı dilimlerin ağırlıklarını ve örnekleme oranlarını ayarlamak vb. 1
  • Modele müdahale: Model hedeflerini tanıtarak veya değiştirerek, kısıtlamalar ekleyerek vb. Modelin kendisini değiştirme 2
  • Sonuçların sonradan işlenmesi: Metrikler arasında performansı artırmak için modelin çıktılarını veya çıktıların yorumunu değiştirmek. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

MinDiff nedir?

MinDiff, iki dağılımı eşitlemeyi amaçlayan bir model iyileştirme tekniğidir. Uygulamada, dağılım farklılıklarını cezalandırarak verilerinizin farklı dilimlerinde hata oranlarını dengelemek için kullanılabilir.

Tipik olarak, hassas bir sınıfa ait bir veri dilimiyle daha iyi performans gösteren bir dilim arasındaki yanlış pozitif oran (FPR) veya yanlış negatif oran (FNR) arasındaki farkı en aza indirmeye çalışırken MinDiff uygulanır. Adalet ölçütlerinin derinlemesine tartışılması için, bu konudaki literatürü inceleyin. 4 5 6

MinDiff nasıl çalışır?

Veri setimizden iki set örnek verildiğinde, MinDiff, iki set arasındaki puan dağılımındaki farklılıklar için eğitim sırasında modeli cezalandırır. İki set ne kadar az ayırt edilebilirse, tahmin puanlarına dayanıyorsa, uygulanacak ceza o kadar küçük olacaktır.

Ceza, modelin eğitim aldığı kayba bir bileşen eklenerek uygulanır. Model tahminlerinin dağılımındaki farkın bir ölçüsü olarak düşünülebilir. Model eğitilirken yukarıdaki grafikte olduğu gibi dağılımları birbirine yaklaştırarak cezayı en aza indirmeye çalışacaktır.

MinDiff'in uygulanması, orijinal görevdeki performans açısından bazı ödünleşmelerle gelebilir. Uygulamada, MinDiff'in performansı ürün ihtiyaçlarının ötesinde kötüleştirmemekle birlikte etkili olduğunu bulduk, ancak bu uygulamaya bağlı olacak ve karar ürün sahibi tarafından kasıtlı olarak verilmelidir. MinDiff'in nasıl uygulanacağını gösteren örnekler için, not defteri eğitimimize bakın.

1 Zhang, G., Bai, B., Zhang, J., Bai, K., Zhu, C., Zhao, T. (2020). Demografi Toksisitenin Nedeni Olmamalıdır: Örnek Ağırlıklandırma ile Metin Sınıflandırmalarında Ayrımcılığın Azaltılması
2 Prost, F., Qian H., Chen, Q., Chi, E., Chen, J., Beutel, A. (2019). Çekirdek tabanlı dağıtım eşleştirmesi ile performans ve adalet arasında daha iyi bir değiş tokuşa doğru.
3 Alabdulmohsin, I. (2020). Kısıtlanmamış Optimizasyon ile Adil Sınıflandırma.
4 Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Farkındalık Yoluyla Adalet.
5 Hardt, M., Price, E., Srebro, N. (2016). Denetimli Öğrenmede Fırsat Eşitliği.
6 Chouldechova, A. (2016). Farklı etkiye sahip adil tahmin: Tekrar suçlama tahmin araçlarında önyargı çalışması.

Kaynaklar