Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines

• Autor(a) principal: Lourenço Ribeiro Grossi Araújo
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/39328
• topic: Regularização; Redes neurais; Aprendizado de máquinas; Engenharia elétrica; Aprendizado do computador; Redes neurais (Computação)

O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal. Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante. Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons.