Um processo para avaliação e gerenciamento de mudanças de modelos de aprendizado de máquina aplicado a área da saúde

• Autor(a) principal: Souza, Cezar Miranda Paula de
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFRN
• Texto Completo: https://repositorio.ufrn.br/handle/123456789/54773
• topic: CNPQ::ENGENHARIAS; Avaliação de AM; MLOps; Monitoramento contínuo; Continual learning; Feedback-loop

Suportado por avanços de hardware e software, o uso de Aprendizado de Máquina (AM), reconhecido por alavancar o trabalho nas mais variadas áreas de conhecimento, começou a acelerar exponencialmente nas últimas décadas. Os experimentos, em geral realizados em ambientes controlados, sobre amostras de dados previamente conhecidos e preparados, tem trazido resultados extraordinários, o que popularizou o uso do Aprendizado de Máquina ao ponto de ser difícil encontrar um ramo do conhecimento humano no qual o AM ainda não tenha sido abordado. Neste contexto, surgem questões relativas à representatividade das amostras de dados utilizadas, e à necessidade de se estabelecer garantias mínimas quanto a performance sobre dados desconhecidos (do mundo real), especialmente em aplicações críticas como as da Saúde, onde erros podem significar risco de vida para pacientes. Dentro do AM há uma disciplina chamada de Machine Learning Operations (MLOps), que se destina ao gerenciamento do ciclo de vida de modelos de Aprendizado de Máquina, desde sua concepção até sua entrega em produção (ambientes de uso efetivo no mundo real) e seu posterior monitoramento. Uma vez implantados, modelos estão sujeitos a problemas de decaimento de performance, causado por fenômenos como o drift, o que tem motivado estudos recentes sobre continual learning e monitoramento contínuo para modelos de AM. O presente trabalho apresenta um processo para avaliação de modelos de AM desenhado para aplicações da saúde em operação no mundo real. Para tanto, foram realizados (1) uma Revisão Sistemática da Literatura (RSL) com o objetivo de determinar o estado da arte para técnicas e métodos de avaliação de AM, e (2) um Estudo de Caso (EC) aplicando o processo em modelos de uma UTI oncológica. Resultados positivos foram obtidos, estabelecendo um ciclo de feedback para modelos em uso no mundo real dados.