Uma contribuiÃÃo ao problema de seleÃÃo de modelos neurais usando o princÃpio de mÃxima correlaÃÃo dos erros

• Autor(a) principal: ClÃudio Marques de SÃ Medeiros
• Data de Publicação: 2008
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da UFC
• Texto Completo: http://www.teses.ufc.br/tde_busca/arquivo.php?codArquivo=2132
• topic: redes neurais artificiais; mÃtodos de poda; seleÃÃo de modelos; correlaÃÃo de erros; seleÃÃo de caracterÃsticas; artificial neural networks; pruning methods; model selection; error correlation; feature selection; TELEINFORMATICA

PropÃe-se nesta tese um mÃtodo de poda de pesos para redes Perceptron Multicamadas (MLP). TÃcnicas clÃssicas de poda convencionais, tais como Optimal Brain Surgeon(OBS) e Optimal Brain Damage(OBD), baseiam-se na anÃlise de sensibilidade de cada peso da rede, o que requer a determinaÃÃo da inversa da matriz Hessiana da funÃÃo-custo. A inversÃo da matriz Hessiana, alÃm de possuir um alto custo computacional, à bastante susceptÃvel a problemas numÃricos decorrentes do mal-condicionamento da mesma. MÃtodos de poda baseados na regularizaÃÃo da funÃÃo-custo, por outro lado, exigem a determinaÃÃo por tentativa-e-erro de um parÃmetro de regularizaÃÃo. Tendo em mente as limitaÃÃes dos mÃtodos de poda supracitados, o mÃtodo proposto baseia-se no "PrincÃpio da MÃxima CorrelaÃÃo dos Erros" (MAXCORE). A idÃia consiste em analisar a importÃncia de cada conexÃo da rede a partir da correlaÃÃo cruzada entre os erros em uma camada e os erros retropropagados para a camada anterior, partindo da camada de saÃda em direÃÃo à camada de entrada. As conexÃes que produzem as maiores correlaÃÃes tendem a se manter na rede podada. Uma vantagem imediata deste procedimento està em nÃo requerer a inversÃo de matrizes, nem um parÃmetro de regularizaÃÃo. O desempenho do mÃtodo proposto à avaliado em problemas de classificaÃÃo de padrÃes e os resultados sÃo comparados aos obtidos pelos mÃtodos OBS/OBD e por um mÃtodo de poda baseado em regularizaÃÃo. Para este fim, sÃo usados, alÃm de dados articialmente criados para salientar caracterÃsticas importantes do mÃtodo, os conjuntos de dados bem conhecidos da comunidade de aprendizado de mÃquinas: Iris, Wine e Dermatology. Utilizou-se tambÃm um conjunto de dados reais referentes ao diagnÃstico de patologias da coluna vertebral. Os resultados obtidos mostram que o mÃtodo proposto apresenta desempenho equivalente ou superior aos mÃtodos de poda convencionais, com as vantagens adicionais do baixo custo computacional e simplicidade. O mÃtodo proposto tambÃm mostrou-se bastante agressivo na poda de unidades de entrada (atributos), o que sugere a sua aplicaÃÃo em seleÃÃo de caracterÃsticas.