Otimização de hiperparâmetros de modelos machine learning com BarySearch.

• Autor(a) principal: Pellicer, Lucas Francisco Amaral Orosco
• Data de Publicação: 2020
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: https://www.teses.usp.br/teses/disponiveis/3/3139/tde-31032021-163248/
• topic: Aprendizado computacional; Computação evolutiva; Hibridização; Hybridization; Hyperparameters; Machine learning; Optimization; Searching methods

Obter bons desempenhos de modelos de aprendizado de máquina geralmente requer que os hiperparâmetros sejam ajustados. Entretanto, é complicado encontrar uma função matemática bem definida entre os valores do hiperparâmetro e o desempenho do modelo. A coleta de valores de desempenho do modelo é cara e ainda o comportamento das funções de desempenho tende a ser imprevisível, com muitas regiões de oscilação ou mesmo regiões descontínuas. Além disso os hiperparâmetros podem ser contínuos, discretos, categóricos ou condicionais, o que torna o problema de ajuste de hiperparâmetros complexo. Muitas técnicas foram desenvolvidas para solucionar esse problema. Neste trabalho, é apresentada a técnica BarySearch: um método livre de derivação com baixo custo computacional. Essa técnica apresenta um bom compromisso entre resultado e esforço de execução. O BarySearch utiliza do método do baricentro já utilizado em sintonização de controladores. O método apresenta características de convergências interessantes e pode comportar similar a um gradiente descendente ou métodos evolucionários sob suposições razoáveis.