MinDiff é uma técnica de remediação de modelo que busca equalizar duas distribuições. Na prática, ele pode ser usado para equilibrar as taxas de erro em diferentes fatias de seus dados, penalizando as diferenças de distribuição.
Normalmente, você aplica MinDiff ao tentar garantir a equidade do grupo, como minimizar a diferença na taxa de falsos positivos (FPR) ou na taxa de falsos negativos (FNR) entre uma fatia de dados pertencente a uma classe sensível e uma fatia de melhor desempenho. Para uma discussão aprofundada das métricas de justiça, revise a literatura sobre este assunto. 1 2 3
Como o MinDiff funciona?
Dados dois conjuntos de exemplos de nosso conjunto de dados, MinDiff penaliza o modelo durante o treinamento por diferenças na distribuição de pontuações entre os dois conjuntos. Quanto menos distinguíveis os dois conjuntos forem baseados em pontuações de previsão, menor será a penalidade que será aplicada.
A penalidade é aplicada adicionando um componente à perda que o modelo está usando para treinamento. Pode ser pensado como uma medida da diferença na distribuição das previsões do modelo. À medida que o modelo treina, ele tenta minimizar a penalidade aproximando as distribuições, conforme mostrado nos gráficos abaixo.
A aplicação de MinDiff pode vir com compensações em relação ao desempenho na tarefa original. O MinDiff pode ser eficaz sem deteriorar o desempenho além das necessidades do produto, mas a decisão de equilibrar o desempenho e a eficácia do MinDiff deve ser tomada deliberadamente pelo proprietário do produto. Para obter exemplos mostrando como implementar o MinDiff, consulte o caderno de estudo de caso de correção de modelo .
Recursos
Para obter um tutorial sobre como aplicar o MinDiff em um modelo de classificação de texto, consulte MinDiff Keras notebook .
Para uma postagem de blog sobre MinDiff no blog do TensorFlow, consulte Aplicando MinDiff para melhorar a postagem de blog modelo .
Para obter a biblioteca de correção de modelo completa, consulte o repositório Github de correção de modelo .
Dwork, C., Hardt, M., Pitassi, T., Reingold, O., Zemel, R. (2011). Justiça através da consciência. ↩
Hardt, M., Price, E., Srebro, N. (2016). Igualdade de Oportunidades na Aprendizagem Supervisionada. ↩
Chouldechova, A. (2016). Previsão justa com impacto díspar: Um estudo de viés em instrumentos de previsão de reincidência. ↩