Métodos de otimização hiperparamétrica: um estudo comparativo utilizando árvores de decisão e florestas aleatórias na classificação binária

• Autor(a) principal: Wagner José de Alvarenga Júnior
• Data de Publicação: 2018
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/BUBD-AX2NLF
• topic: Otimização hiperparamétrica; Otimização bayesiana; Árvore de decisão; Floresta aleatória; Busca em grade; Busca aleatória; Engenharia elétrica; Floresta aleatória; Árvores de decisão; Aprendizado do computador

O Aprendizado de Máquina se tornou uma ferramenta fundamental para algumas áreas do conhecimento. Muito de sua robustez reside na existência de diferentes níveis de complexidade para um modelo, que podem vir a serem escolhidos, assim como as possíveis congurações do algoritmo de treinamento. Estes ajustes impactam diretamente no erro de generalização do modelo. Hiperparâmetros são as variáveis que controlam estas funções, e que precisam de uma denição de valor antes mesmo que o treinamento do modelo seja realizado. Por isto, a estimação do valor ótimo para o(s) hiperparâmetro(s) é fundamental para a obtenção de um modelo com melhor desempenho de predição. O presente trabalho possui o objetivo de comparar o desempenho dos métodos de otimização hiperparamétrica: Busca em Grade, Busca Aleatória e otimização Bayesiana (com o uso do Processo Gaussiano), na sintonia de hiperparâmetros dos modelos de aprendizado: Árvore de Decisão e Floreta Aleatória. Nestes modelos, são testados hiperparâmetros que controlam o crescimento de uma árvore, e que dene o grau de descorrelação entre as árvores de uma oresta aleatória. Estes dois algoritmos de aprendizado são empregados em problemas de Classicação binária, utilizando diferentes conjuntos de dados. Os resultados obtidos mostram que para um mesmo número de treinamentos, a técnica de otimização Bayesiana proporciona melhores resultados que os outros dois métodos testados.