Combining LASSO-Type methods with a smooth transition random forest

• Autor(a) principal: Gandini, Alexandre Luís Debiasi
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
• Texto Completo: http://hdl.handle.net/10183/253264
• topic: Estimativa : Estatistica matematica; Regressao estatistica; Aleatoriedade; LASSO-type methods; Estimation of regression models

Neste trabalho, propomos um novo método híbrido para a estimação de modelos de regressão, baseado em uma combinação de métodos do tipo LASSO e de random forest com transição suave (STR). Modelos de regressão baseados em árvores são conhecidos por sua flexibilidade e capacidade em reconhecer padrões até mesmo altamente não-lineares nos dados. O modelo STR-Tree introduz suavidade nos nós da árvore, levando a uma atribuição não-binária das observações em cada grupo, o que pode ser interpretado como diferentes graus de pertencimento a eles. Nossa proposta consiste em um método em dois passos, da seguinte forma: primeiro ajustamos uma regressão penalizada através do LASSO, então, no segundo passo, utilizamos os resíduos obtidos no primeiro ajuste e estimamos uma random forest com transição suave (STR) dos resíduos novamente contra as covariáveis originais. Procedendo dessa forma, podemos capturar as possíveis importantes relações lineares nos dados, caso presentes, de forma paramétrica no primeiro passo e deixar um modelo muito mais flexível “atacar” as não-linearidades em um segundo momento. Apresentamos estudos numéricos, tanto com dados simulados quanto com dados reais, para ilustrar o desempenho do nosso método. Nossa proposta se mostrou vantajosa em termos de poder preditivo em comparação com outras referências, especialmente se os dados contêm atributos tanto lineares quanto não-lineares.