Using a fairness-utility trade-off metric to systematically benchmark non-generative fair adversarial learning strategies

• Autor(a) principal: Lima, Luiz Fernando Fonsêca Pinheiro de
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFPB
• Texto Completo: https://repositorio.ufpb.br/jspui/handle/123456789/26323
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Aprendizado adversário; Aprendizado de máquina; Benchmark; Trade-off; Adversarial Learning; Machine Learning; Justiça; Fairness

Os sistemas de inteligência artificial para tomada de decisão têm se tornado cada vez mais populares em diversas áreas. Entretanto, é possível identificar decisões enviesadas em muitas aplicações, que se tornaram uma preocupação para as comunidades de ciência da computação, inteligência artificial e direito. Portanto, as pesquisas vêm propondo soluções para mitigar o viés e a discriminação presente nos tomadores de decisão. Algumas estratégias exploradas são baseadas em redes adversários generativas para gerar dados justos. Outros são baseados no aprendizado adversário para alcançar a justiça no aprendizado de máquina codificando restrições de justiça por meio de um componente adversário. Além disso, é comum que cada proposta avalie seu modelo com uma métrica específica, tornando a comparação das abordagens atuais uma tarefa complexa. Portanto, este trabalho propõe um procedimento de benchmark com um método sistemático para avaliar os modelos de aprendizado de máquina justo. Nesse sentido, definimos a métrica FU-score para avaliar o trade-off de utilidade e justiça, as métricas de utilidade e justiça para compor essa avaliação, o conjunto de dados utilizado e a preparação aplicada e o teste estatístico. Também realizamos esta avaliação de benchmark para os modelos adversários não generativos, analisando os modelos da literatura sob a mesma métrica. Essa avaliação não pôde apontar um único modelo com melhor desempenho para todos os conjuntos de dados. No entanto, construímos um entendimento de como cada modelo funciona em cada conjunto de dados com confiança estatística.