RSVP pour votre événement TensorFlow Everywhere local dès aujourd'hui!
Cette page a été traduite par l'API Cloud Translation.
Switch to English

Qu'est-ce que la correction de modèle?

Une fois que vous avez effectué une évaluation par tranches des performances d'un modèle d'apprentissage automatique, vous remarquerez peut-être que votre modèle est sous-performant sur certaines tranches de données. Ce type de performance inégale peut parfois conduire à des résultats injustes et potentiellement préjudiciables pour des sous-ensembles vulnérables de la population. En règle générale, il existe trois principaux types d'interventions techniques pour résoudre les problèmes de biais:

  • Modifier les données d'entrée: collecter plus de données, générer des données synthétiques, ajuster les poids et les taux d'échantillonnage des différentes tranches, etc. 1
  • Intervenir sur le modèle: Changer le modèle lui-même en introduisant ou en modifiant les objectifs du modèle, en ajoutant des contraintes, etc. 2
  • Post-traitement des résultats: modification des sorties du modèle ou de l'interprétation des sorties pour améliorer les performances entre les métriques. 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

Qu'est-ce que MinDiff?

MinDiff est une technique de correction de modèle qui cherche à égaliser deux distributions. En pratique, il peut être utilisé pour équilibrer les taux d'erreur entre différentes tranches de vos données en pénalisant les différences de distribution.

En général, on applique MinDiff en essayant de minimiser la différence de taux de faux positifs (FPR) ou de taux de faux négatifs (FNR) entre une tranche de données appartenant à une classe sensible et une tranche plus performante. Pour une discussion approfondie des mesures d'équité, passez en revue la littérature sur ce sujet. 4 5 6

Comment fonctionne MinDiff?

Compte tenu de deux ensembles d'exemples de notre ensemble de données, MinDiff pénalise le modèle pendant l'entraînement pour les différences dans la distribution des scores entre les deux ensembles. Moins il est possible de distinguer les deux ensembles basés sur des scores de prédiction, plus la pénalité qui sera appliquée est petite.

La pénalité est appliquée en ajoutant un composant à la perte avec laquelle le modèle s'entraîne. Il peut être considéré comme une mesure de la différence de distribution des prédictions du modèle. Au fur et à mesure que le modèle s'entraîne, il essaiera de minimiser la pénalité en rapprochant les distributions, comme dans le graphique ci-dessus.

L'application de MinDiff peut entraîner des compromis en ce qui concerne les performances de la tâche d'origine. Dans la pratique, nous avons souvent constaté que MinDiff était efficace sans détériorer les performances au-delà des besoins du produit, mais cela dépendra de l'application et la décision devrait être prise délibérément par le propriétaire du produit. Pour obtenir des exemples montrant comment implémenter MinDiff, consultez notre didacticiel sur les blocs-notes .

1 Zhang, G., Bai, B., Zhang, J., Bai, K., Zhu, C., Zhao, T. (2020). Les données démographiques ne devraient pas être la raison de la toxicité: atténuer la discrimination dans les classifications textuelles grâce à la pondération des instances.
2 Prost, F., Qian H., Chen, Q., Chi, E., Chen, J., Beutel, A. (2019). Vers un meilleur compromis entre performances et équité avec une correspondance de distribution basée sur le noyau.
3 Alabdulmohsin, I. (2020). Classification équitable via une optimisation sans contrainte.
4 Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). L'équité par la sensibilisation.
5 Hardt, M., Price, E., Srebro, N. (2016). Egalité des chances dans l'apprentissage supervisé.
6 Chouldechova, A. (2016). Prédiction juste avec un impact disparate: une étude des biais dans les instruments de prédiction de la récidive.

Ressources