RSVP untuk acara TensorFlow Everywhere lokal Anda hari ini!
Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

Apa itu Model Remediation?

Setelah Anda melakukan evaluasi potongan performa model pembelajaran mesin, Anda mungkin melihat bahwa model Anda berkinerja buruk di beberapa bagian data tertentu. Jenis kinerja yang tidak setara ini terkadang dapat menyebabkan hasil yang tidak adil dan berpotensi membahayakan bagi subkumpulan populasi yang rentan. Secara umum, ada tiga jenis utama intervensi teknis untuk mengatasi masalah bias:

  • Mengubah data masukan: Mengumpulkan lebih banyak data, menghasilkan data sintetis, menyesuaikan bobot dan laju pengambilan sampel dari berbagai irisan, dll. 1
  • Mengintervensi model: Mengubah model itu sendiri dengan memperkenalkan atau mengubah tujuan model, menambahkan batasan, dll. 2
  • Hasil pasca-pemrosesan: Memodifikasi keluaran model atau interpretasi keluaran untuk meningkatkan kinerja di seluruh metrik. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

Apa MinDiff?

MinDiff adalah teknik remediasi model yang berusaha untuk menyamakan dua distribusi. Dalam praktiknya, ini dapat digunakan untuk menyeimbangkan tingkat kesalahan di berbagai bagian data Anda dengan menghukum perbedaan distribusi.

Biasanya, MinDiff diterapkan saat mencoba meminimalkan perbedaan baik rasio positif palsu (FPR) atau rasio negatif palsu (FNR) antara potongan data yang termasuk dalam kelas sensitif dan bagian yang berkinerja lebih baik. Untuk diskusi mendalam tentang metrik keadilan, tinjau literatur tentang subjek ini. 4 5 6

Bagaimana cara kerja MinDiff?

Diberikan dua set contoh dari kumpulan data kami, MinDiff menghukum model selama pelatihan untuk perbedaan dalam distribusi skor di antara dua set. Semakin sedikit membedakan kedua set tersebut berdasarkan skor prediksi, semakin kecil penalti yang akan diterapkan.

Hukuman diterapkan dengan menambahkan komponen kerugian yang modelnya dilatihkan. Ini dapat dianggap sebagai pengukuran perbedaan dalam distribusi prediksi model. Saat model berlatih, model akan mencoba meminimalkan penalti dengan mendekatkan distribusi, seperti pada grafik di atas.

Menerapkan MinDiff mungkin datang dengan pengorbanan sehubungan dengan kinerja pada tugas asli. Dalam praktiknya, kami sering menemukan MinDiff efektif sementara tidak menurunkan kinerja melebihi kebutuhan produk, tetapi ini akan bergantung pada aplikasi dan keputusan harus dibuat dengan sengaja oleh pemilik produk. Untuk contoh yang menunjukkan bagaimana mengimplementasikan MinDiff, lihat tutorial notebook kami .

1 Zhang, G., Bai, B., Zhang, J., Bai, K., Zhu, C., Zhao, T. (2020). Demografi Seharusnya Tidak Menjadi Alasan Toksisitas: Mengurangi Diskriminasi dalam Klasifikasi Teks dengan Pembobotan Instans.
2 Prost, F., Qian H., Chen, Q., Chi, E., Chen, J., Beutel, A. (2019). Menuju trade-off yang lebih baik antara kinerja dan keadilan dengan pencocokan distribusi berbasis kernel.
3 Alabdulmohsin, I. (2020). Klasifikasi yang Adil melalui Pengoptimalan Tanpa Batasan.
4 Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Keadilan Melalui Kesadaran.
5 Hardt, M., Harga, E., Srebro, N. (2016). Kesetaraan Peluang dalam Supervised Learning.
6 Chouldechova, A. (2016). Prediksi yang adil dengan dampak yang berbeda: Sebuah studi tentang bias dalam instrumen prediksi residivisme.

Sumber daya