Bantuan melindungi Great Barrier Reef dengan TensorFlow pada Kaggle Bergabung Tantangan

Apa itu Model Remediasi?

Setelah Anda melakukan evaluasi iris kinerja mesin model pembelajaran ini, Anda mungkin melihat bahwa model Anda tertinggal di irisan tertentu dari data. Jenis kinerja yang tidak setara ini terkadang dapat menyebabkan hasil yang tidak adil dan berpotensi berbahaya bagi kelompok populasi yang rentan. Secara umum, ada tiga jenis utama intervensi teknis untuk mengatasi masalah bias:

  • Mengubah input data: Mengumpulkan lebih banyak data, menghasilkan data sintetik, menyesuaikan bobot dan sampling tingkat irisan yang berbeda, dll 1
  • Intervensi pada model: Mengubah model itu sendiri dengan memperkenalkan atau tujuan model yang mengubah, menambahkan kendala, dll 2
  • Pasca-pengolahan hasil: Memodifikasi output dari model atau interpretasi output untuk meningkatkan kinerja di seluruh metrik. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

Apa itu MinDiff?

MinDiff adalah teknik remediasi model yang berusaha menyamakan dua distribusi. Dalam praktiknya, ini dapat digunakan untuk menyeimbangkan tingkat kesalahan di berbagai bagian data Anda dengan menghukum perbedaan distribusi.

Biasanya, seseorang menerapkan MinDiff ketika mencoba meminimalkan perbedaan dalam tingkat positif palsu (FPR) atau tingkat negatif palsu (FNR) antara sepotong data yang termasuk dalam kelas sensitif dan irisan yang berkinerja lebih baik. Untuk diskusi mendalam tentang metrik keadilan, tinjau literatur tentang hal ini. 4 5 6

Bagaimana cara kerja MinDiff?

Diberikan dua set contoh dari dataset kami, MinDiff menghukum model selama pelatihan untuk perbedaan dalam distribusi skor antara dua set. Semakin kecil perbedaan kedua set berdasarkan skor prediksi, semakin kecil penalti yang akan diterapkan.

Hukuman diterapkan dengan menambahkan komponen pada kerugian yang digunakan model untuk dilatih. Ini dapat dianggap sebagai pengukuran perbedaan dalam distribusi prediksi model. Saat model berlatih, ia akan mencoba meminimalkan penalti dengan mendekatkan distribusi, seperti pada grafik di atas.

Menerapkan MinDiff mungkin datang dengan pengorbanan sehubungan dengan kinerja pada tugas asli. Dalam praktiknya, kami sering menemukan bahwa MinDiff efektif tanpa menurunkan kinerja di luar kebutuhan produk, tetapi ini akan bergantung pada aplikasi dan keputusan harus dibuat dengan sengaja oleh pemilik produk. Untuk contoh yang menunjukkan bagaimana menerapkan MinDiff, lihat notebook tutorial kami .

1 Zhang, G., Bai, B., Zhang, J., Bai, K., Zhu, C., Zhao, T. (2020). Demografi Seharusnya Tidak Menjadi Alasan Toksisitas: Mengurangi Diskriminasi dalam Klasifikasi Teks dengan Pembobotan Instans.
2 Prost, F., Qian H., Chen, T., Chi, E., Chen, J., Beutel, A. (2019). Menuju trade-off yang lebih baik antara kinerja dan keadilan dengan pencocokan distribusi berbasis kernel.
3 Alabdulmohsin, I. (2020). Klasifikasi Adil melalui Optimasi Tanpa Batas.
4 Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Keadilan Melalui Kesadaran.
5 Hardt, M., Harga, E., Srebro, N. (2016). Kesetaraan Kesempatan dalam Pembelajaran Terawasi.
6 Chouldechova, A. (2016). Prediksi adil dengan dampak berbeda: Studi bias dalam instrumen prediksi residivisme.

Sumber daya