Measuring drift impact : a customizable synthetic data generator

• Autor(a) principal: Reis, Felipe Führ dos
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: eng
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/271956
• topic: Aprendizado de máquina; Dados sintéticos; Algoritmos; Concept drift; Drift detection; Drift impact; MLOps

Concept drift, mudança das propriedades estatísticas dos dados com o tempo, é uma característica comum a dados de múltiplos domínios. Ele pode impactar substancialmente a performance de modelos de Aprendizado de Máquina ao longo do tempo. Por esse motivo, o desenvolvimento de métodos para detectar, avaliar e mitigar essas mudanças no comportamento dos dados é crucial para a otimização, ou mesmo a viabilização, da aplicação de modelos de Aprendizado de Máquina à resolução de problemas reais. Em contextos em que há drift expressivo, para a efetiva aplicação de soluções de Aprendizado de Máquina, é desejável compreender com profundidade e utilizar bem informações sobre o fenômeno. Dessa forma, é imprescindível ter à disposição algoritmos com comprovada robustez. Contudo, para avaliar a robustez teórica de algoritmos, a utilização de dados provenientes de contextos reais pode ser um empecilho, visto que o entendimento da dinâmica que gera o dado em contextos reais é frequentemente deficiente ou desconhecido. É difícil dizer com suficiente precisão quando e por quê alterações por drift ocorrem, ou seu impacto esperado na performance de modelos de Aprendizado de Máquina. Uma solução para esse problema é utilizar dados sintéticos. Ao se utilizar dados sintéticos, é possível compreender melhor os efeitos das mudanças nos dados, por implementar no design da aplicação dinâmicas de mudança da distribuição dos dados que sejam explicáveis e mensuráveis. Outro efeito positivo é a possibilidade de comparar e aprimorar algoritmos, por possuir critérios objetivos. Com esse objetivo, foi desenvolvido uma apli cação para geração de dados com concept drift customizável. A aplicação implementa indicativos dos limites teóricos de máxima performance para modelos e indicativos da perda esperada de performance de algoritmos que não tenham abstraído as dinâmicas do drift, iteração a iteração. Por fim, foi feita uma comparação com outras implementações de geradores de dados sintéticos na literatura, qualitativa e quantitativa. Ao contrário de outras implementações na literatura, que carecem de pelo menos uma das seguintes carac terísticas, o gerador de dados proposto é capaz de gerar problemas com diferentes graus de complexidade e com múltiplas dimensões para entrada e saída. Ele é adequado para problemas de classificação, binária ou multiclasse, e de regressão.