Ringkasan

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

MinDiff adalah teknik remediasi model yang berusaha menyamakan dua distribusi. Dalam praktiknya, ini dapat digunakan untuk menyeimbangkan tingkat kesalahan di berbagai bagian data Anda dengan menghukum perbedaan distribusi.

Biasanya, Anda menerapkan MinDiff saat mencoba memastikan keadilan grup, seperti meminimalkan perbedaan dalam rasio positif palsu (FPR) atau rasio negatif palsu (FNR) antara sepotong data yang termasuk dalam kelas sensitif dan irisan yang berkinerja lebih baik. Untuk diskusi mendalam tentang metrik keadilan, tinjau literatur tentang hal ini. 1 2 3

Bagaimana cara kerja MinDiff?

Diberikan dua set contoh dari dataset kami, MinDiff menghukum model selama pelatihan untuk perbedaan dalam distribusi skor antara dua set. Semakin kecil perbedaan kedua set berdasarkan skor prediksi, semakin kecil penalti yang akan diterapkan.

Penalti diterapkan dengan menambahkan komponen pada kerugian yang digunakan model untuk pelatihan. Ini dapat dianggap sebagai pengukuran perbedaan dalam distribusi prediksi model. Saat model berlatih, ia mencoba meminimalkan penalti dengan mendekatkan distribusi, seperti yang ditunjukkan pada grafik di bawah ini.

Grafik perbandingan MinDiff

Menerapkan MinDiff mungkin datang dengan pengorbanan sehubungan dengan kinerja pada tugas asli. MinDiff dapat efektif tanpa menurunkan kinerja di luar kebutuhan produk, tetapi keputusan untuk menyeimbangkan antara kinerja dan efektivitas MinDiff harus dibuat dengan sengaja oleh pemilik produk. Untuk contoh yang menunjukkan bagaimana menerapkan MinDiff, lihat buku catatan studi kasus remediasi model .

Sumber daya


  1. Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Keadilan Melalui Kesadaran.

  2. Hardt, M., Harga, E., Srebro, N. (2016). Kesetaraan Kesempatan dalam Pembelajaran Terawasi.

  3. Couldechova, A. (2016). Prediksi adil dengan dampak berbeda: Studi bias dalam instrumen prediksi residivisme.