Otimização de hiperparâmetros em machine learning utilizando uma surrogate e algoritmos evolutivos

• Autor(a) principal: Neves, José Marcos Miranda
• Data de Publicação: 2020
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
• Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/28557
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Aprendizado do computador; Algoritmos; Otimização matemática; Machine learning; Algorithms; Mathematical optimization

Este trabalho apresenta uma nova abordagem para otimização de hiperparâmetros em algoritmos de Machine Learning. A ideia é construir uma surrogate através de pontos semi aleatórios gerados com o método de Sobol e então utilizar um algoritmo evolutivo (DE ou PSO neste caso) para realizar a otimização sobre ela. Também é implementado uma forma de realizar mais de uma otimização com o algoritmo evolutivo em uma mesma execução do método sem aumentar o custo computacional em relação a outros métodos de otimização. O objetivo é então verificar se a utilização dessas duas estratégias tornaria o método proposto menos propenso a ficar preso em mínimos locais e também mais consistente se comparado a outros. O foco do trabalho foi a otimização do LightGBM aplicado a classificação binária, porém é possível expandir para outras áreas fazendo as devidas adaptações. Além do método proposto, são utilizados Random Search e Bayesian Optimization para realizar a otimização do LightGBM com 3 conjuntos de dados. Os resultados obtidos mostram que a abordagem proposta com a utilização do PSO consegue ser a mais consistente dos 3 métodos, porém Bayesian Optimization ainda se sai melhor no geral.