Stratio AI QA & machine learning testing

• Autor(a) principal: Rosa, Heitor Brito de Ramos
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.26/46228
• topic: Artificial intelligence; Quality assurance; Feature drift monitoring; Machine learning; Predictive maintenance

Este relatório explica o trabalho realizado durante um estágio de nove meses no âmbito do Mestrado em Engenharia Informática, com especialização em Análise Inteligente de Dados, do Instituto Superior de Engenharia de Coimbra. O estágio decorreu na Stratio Automotive, uma startup localizada no Instituto Pedro Nunes, cujo foco é a manutenção preditiva de veículos. Para cumprir esta missão, a empresa usa Artificial Intelligence, recorrendo a modelos de Machine Learning, para analisar dados provenientes de sensores localizados nos veículos e detetar comportamentos anómalos ou situações de risco que possam comprometer o normal funcionamento dos mesmos. No início do estágio, a Stratio oferecia aos seus clientes uma solução que permitia a monitorização, a análise e a previsão em tempo real de falhas em veículos pesados. Atendendo ao ambiente dinâmico e em constante mudança em que os modelos se inserem, é de supor que a distribuição dos dados que serviram de base ao treino desses modelos também sofra alterações, podendo deteriorar o seu desempenho ao longo do tempo. Nesse enquadramento, o trabalho realizado no estágio teve como objetivo adicionar um módulo de Quality Assurance à pipeline de Artificial Intelligence da Stratio, integrando um serviço de monitorização de Feature Drift (alterações das features de entrada decorrentes de variações nos dados), com o intuito de assegurar que a precisão e a fiabilidade dos modelos se mantenham com o tempo. Recorrendo à ferramenta open-source Evidently AI foi desenvolvida uma solução que permite detetar situações de Feature Drift nos modelos, cumprindo requisitos de escalabilidade para lidar com grandes volumes de dados, compatibilidade com os modelos já existentes e configurabilidade para ajustes específicos dos mesmos, encontrando-se atualmente em produção.