MinDiff es una técnica de corrección de modelos que busca ecualizar dos distribuciones. En la práctica, se puede utilizar para equilibrar las tasas de error entre diferentes segmentos de datos penalizando las diferencias distributivas.
Normalmente, aplica MinDiff cuando intenta garantizar la equidad del grupo, como minimizar la diferencia en la tasa de falsos positivos (FPR) o la tasa de falsos negativos (FNR) entre una porción de datos que pertenece a una clase confidencial y una porción de mejor rendimiento. Para una discusión en profundidad sobre las métricas de equidad, revise la literatura sobre este tema. 1 2 3
¿Cómo funciona MinDiff?
Dados dos conjuntos de ejemplos de nuestro conjunto de datos, MinDiff penaliza el modelo durante el entrenamiento por diferencias en la distribución de puntuaciones entre los dos conjuntos. Cuanto menos distinguibles sean los dos conjuntos en función de las puntuaciones de predicción, menor será la penalización que se aplicará.
La penalización se aplica agregando un componente a la pérdida que el modelo utiliza para el entrenamiento. Puede considerarse como una medida de la diferencia en la distribución de las predicciones del modelo. A medida que el modelo se entrena, intenta minimizar la penalización acercando las distribuciones, como se muestra en los gráficos siguientes.
La aplicación de MinDiff puede conllevar compensaciones con respecto al rendimiento de la tarea original. MinDiff puede ser eficaz sin deteriorar el rendimiento más allá de las necesidades del producto, pero el propietario del producto debe tomar deliberadamente la decisión de equilibrar el rendimiento y la eficacia de MinDiff. Para ver ejemplos que muestran cómo implementar MinDiff, consulte el cuaderno de estudios de caso de corrección de modelos .
Recursos
Para obtener un tutorial sobre cómo aplicar MinDiff en un modelo de clasificación de texto, consulte Cuaderno MinDiff Keras .
Para ver una publicación de blog sobre MinDiff en el blog de TensorFlow, consulte Aplicación de MinDiff para mejorar la publicación de blog modelo .
Para obtener la biblioteca completa de corrección de modelos, consulte el repositorio de Github de corrección de modelos .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Justicia a través de la conciencia. ↩
Hardt, M., Price, E., Srebro, N. (2016). Igualdad de oportunidades en el aprendizaje supervisado. ↩
Chouldechova, A. (2016). Predicción justa con impacto dispar: un estudio del sesgo en los instrumentos de predicción de reincidencia. ↩