Árvores de decisão: a evolução do CART ao BART

• Autor(a) principal: Souza, Cleber Batista de
• Data de Publicação: 2021
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: https://www.teses.usp.br/teses/disponiveis/45/45133/tde-05042022-095004/
• topic: AdaBoost; AdaBoost; Árvores Bayesianas; Árvores de classicação; Árvores de decisão; Árvores de regressão; Bagging; Bagging; BART; BART; Bayesian CART trees; Boosting; Boosting; CART; CART; Classication trees; Decision trees; Florestas aleatórias; Gradient boost; Gradiente boost; Random forest; Regression trees; XGBoost; XGBoost

O objetivo deste trabalho é apresentar a evolução do uso dos modelos de Árvore de Decisão cuja linhagem remonta ao modelo CART (Classication And RegressionTrees) apresentado na publica- ção seminal Breiman et al. (1984). O modelo CART gerou uma sequência frutífera de modelos a partir da ideia de replicação da amostra disponível (via bootstrap) e/ou multiplicação no número de árvores (ensembles) para compor um resultado nal. Passando pelo Bagging com replicação de amostras seguido das Florestas Aleatórias com a soma de múltiplas de árvores, apresentamos os modelos baseados em boosting: AdaBoost, Gradiente Boost e XGBoost. Surgidos a partir da utilização dos modelos aditivos, árvores são ajustadas em sequência onde cada árvore subsequente procura diminuir o erro cometido pela precedente e ao mesmo tempo maximizar uma função de perda que engloba o conjunto de árvores como um todo, o resultado nal é a soma de todas árvores geradas. Os modelos de árvores Bayesianas também são apresentados: árvores Bayesianas CART e árvores Bayesianas BART. Para cada modelo desenvolvemos, segundo aplicável, como a árvore é construída, estimativas de erro, funções de perda adequadas, medidas de importância de variáveis, algoritmo de cálculo e uma ilustração para entendimento. No nal mostramos resultados de simula ção e aplicações em dados reais.