Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley

Detalhes bibliográficos
Autor(a) principal: Sandes, Nelson Carvalho
Data de Publicação: 2013
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UNIFOR
Texto Completo: https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/100076
Resumo: Redes neurais de função de base radial (redes RBF) são modelos neurais compostos de uma camada de entrada, uma camada escondida e uma camada de saída de neurônios. Por exibirem a propriedade de aproximação universal de funções contínuas, tais modelos são muito utilizados para resolver roblemas de regressão. A escolha do tipo e dos parâmetros (notadamente, centro e dispersão) das funções de base radial que compõem a camada oculta de uma rede RBF pode afetar sobremaneira a sua acurácia, sendo que algoritmos tais como orthogonal least squares (OLS), fast recursive algorithm (FRA) e two-stage selection (TSS), vêm sendo desenvolvidos para resolver essa tarefa de forma automática. Neste contexto, o presente trabalho também aborda o problema de seleção de centros de redes RBF, porém lançando mão de conceitos da área de teoria dos jogos cooperativos (TJC). Esse campo de pesquisa investiga soluções formais para o problema de se dividir a recompensa adquirida por uma coalizão de jogadores entre os seus membros, levando-se em consideração a contribuição de cada um deles. Em particular, na abordagem proposta aqui, a camada oculta de uma rede neural RBF é modelada como uma coalizão ao passo que os centros dos neurônios que a compõem são tratados como jogadores. A contribuição de cada candidato a centro aos desempenhos das redes em que ele participa é mensurada mediante o valor de Shapley, que é um dos conceitos de solução mais investigados na TJC, dadas as propriedades teóricas relevantes que ele apresenta. Dois algoritmos são propostos com base no valor de Shapley para ranquear os centros, sendo que a seleção da ordem do modelo final de rede RBF é feita com base nesse ranqueamento e adota o critério de informação de Akaike. Enquanto o primeiro algoritmo de ranqueamento avalia a qualidade dos centros em uma única iteração, o segundo algoritmo é de natureza construtiva, sendo que o centro recrutado na iteração k influencia nas avaliações dos demais neurônios nas próximas iterações. No estudo experimental realizado, o desempenho da nova abordagem foi avaliado com base em quatro problemas de regressão bem conhecidos, comparando-se a qualidade preditiva das redes RBF produzidas pelos dois algoritmos propostos com aquela gerada pela redes produzidas pelos algoritmos OLS, FRA e TSS. Os resultados obtidos mostram que a abordagem baseada na TJC é eficaz, considerando particularmente o algoritmo construtivo, que apresentou resultados competitivos aos algoritmos estado-da-arte. Por outro lado, os dois algoritmos propostos perdem no quesito eficiência, possuindo um custo computacional mais elevado. Palavras-chave: Redes Neurais RBF, Função de Base Radial, Seleção de Centros, Teoria dos Jogos Cooperativos, Valor de Shapley, Regressão.
id UFOR_c831fb0739de890e933cb979d05713cd
oai_identifier_str oai::100076
network_acronym_str UFOR
network_name_str Biblioteca Digital de Teses e Dissertações da UNIFOR
repository_id_str
spelling Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de ShapleyRedes neuraisAlgoritmosTeoria dos jogosRedes neurais de função de base radial (redes RBF) são modelos neurais compostos de uma camada de entrada, uma camada escondida e uma camada de saída de neurônios. Por exibirem a propriedade de aproximação universal de funções contínuas, tais modelos são muito utilizados para resolver roblemas de regressão. A escolha do tipo e dos parâmetros (notadamente, centro e dispersão) das funções de base radial que compõem a camada oculta de uma rede RBF pode afetar sobremaneira a sua acurácia, sendo que algoritmos tais como orthogonal least squares (OLS), fast recursive algorithm (FRA) e two-stage selection (TSS), vêm sendo desenvolvidos para resolver essa tarefa de forma automática. Neste contexto, o presente trabalho também aborda o problema de seleção de centros de redes RBF, porém lançando mão de conceitos da área de teoria dos jogos cooperativos (TJC). Esse campo de pesquisa investiga soluções formais para o problema de se dividir a recompensa adquirida por uma coalizão de jogadores entre os seus membros, levando-se em consideração a contribuição de cada um deles. Em particular, na abordagem proposta aqui, a camada oculta de uma rede neural RBF é modelada como uma coalizão ao passo que os centros dos neurônios que a compõem são tratados como jogadores. A contribuição de cada candidato a centro aos desempenhos das redes em que ele participa é mensurada mediante o valor de Shapley, que é um dos conceitos de solução mais investigados na TJC, dadas as propriedades teóricas relevantes que ele apresenta. Dois algoritmos são propostos com base no valor de Shapley para ranquear os centros, sendo que a seleção da ordem do modelo final de rede RBF é feita com base nesse ranqueamento e adota o critério de informação de Akaike. Enquanto o primeiro algoritmo de ranqueamento avalia a qualidade dos centros em uma única iteração, o segundo algoritmo é de natureza construtiva, sendo que o centro recrutado na iteração k influencia nas avaliações dos demais neurônios nas próximas iterações. No estudo experimental realizado, o desempenho da nova abordagem foi avaliado com base em quatro problemas de regressão bem conhecidos, comparando-se a qualidade preditiva das redes RBF produzidas pelos dois algoritmos propostos com aquela gerada pela redes produzidas pelos algoritmos OLS, FRA e TSS. Os resultados obtidos mostram que a abordagem baseada na TJC é eficaz, considerando particularmente o algoritmo construtivo, que apresentou resultados competitivos aos algoritmos estado-da-arte. Por outro lado, os dois algoritmos propostos perdem no quesito eficiência, possuindo um custo computacional mais elevado. Palavras-chave: Redes Neurais RBF, Função de Base Radial, Seleção de Centros, Teoria dos Jogos Cooperativos, Valor de Shapley, Regressão.Radial basis function (RBF) neural networks are feedforward neural models that typically have three layers of neurons: an input layer, a hidden layer, and an output layer. These models are widely used due to their property of universal approximation. The neurons within the hidden layer are represented by radial basis functions, and the choice of the parameters (center and width) of each RBF might have a great impact on the accuracy of the model. Algorithms, such as the orthogonal least squares (OLS), fast recursive algorithm (FRA) and two-stage selection (TSS), have been developed to select the RBF centers automatically. This work also tackles the center selection problem, but cooperative game theory (CGT) concepts are used instead. The CGT investigates formal solutions to the problem of sharing resources between players who belong to a coalition. In our approach, the hidden layer of a RBF network is modeled as a coalition and the centers of the hidden neurons are treated as players of a cooperative game. The contribution of a center candidate to the networks it takes part in is measured by the Shapley value, which is one of the most investigated CGT solution concepts. Two algorithms were developed based on the Shapley value for ranking the centers, whereas the final RBF neural model selection is conducted based on this ranking and on the Akaike information criterion (AIC). The first ranking algorithm evaluates the quality of the center candidates in a single iteration, whereas the second algorithm, which is constructive, needs more than one iteration, and as such, the center recruited in iteration k influences the evaluation of the neurons in the next iterations. The proposed approach is applied in four benchmark regression problems and compared with OLS, FRA, and TSS algorithms. The results demonstrate that the proposed approach is effective, with the second algorithm, in particular, obtaining competitive results when compared to the state-of-the-art algorithms. On the other hand, the proposed algorithms have a higher computational cost compared to the others. Keywords: Radial Basis Functions, RBF Neural Networks, Center Selection, Cooperative Game Theory, Shapley Value, Regression.Coelho, Andre Luis VasconcelosCoelho, Andre Luis VasconcelosMaia, José Everardo BessaPrudêncio, Ricardo Bastos CavalcanteFarias, Pedro Porfírio MunizUniversidade de Fortaleza. Programa de Pós-Graduação em Informática AplicadaSandes, Nelson Carvalho2013info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/100076https://uol.unifor.br/auth-sophia/exibicao/10553Disponibilidade forma física: Existe obra impressa de código : 91868porreponame:Biblioteca Digital de Teses e Dissertações da UNIFORinstname:Universidade de Fortaleza (UNIFOR)instacron:UNIFORinfo:eu-repo/semantics/openAccess2024-01-25T19:57:12Zoai::100076Biblioteca Digital de Teses e Dissertaçõeshttps://www.unifor.br/bdtdONGhttp://dspace.unifor.br/oai/requestbib@unifor.br||bib@unifor.bropendoar:2024-01-25T19:57:12Biblioteca Digital de Teses e Dissertações da UNIFOR - Universidade de Fortaleza (UNIFOR)false
dc.title.none.fl_str_mv Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
title Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
spellingShingle Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
Sandes, Nelson Carvalho
Redes neurais
Algoritmos
Teoria dos jogos
title_short Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
title_full Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
title_fullStr Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
title_full_unstemmed Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
title_sort Projeto da camada oculta de uma rede neural RBF: uma abordagem baseada no valor de Shapley
author Sandes, Nelson Carvalho
author_facet Sandes, Nelson Carvalho
author_role author
dc.contributor.none.fl_str_mv Coelho, Andre Luis Vasconcelos
Coelho, Andre Luis Vasconcelos
Maia, José Everardo Bessa
Prudêncio, Ricardo Bastos Cavalcante
Farias, Pedro Porfírio Muniz
Universidade de Fortaleza. Programa de Pós-Graduação em Informática Aplicada
dc.contributor.author.fl_str_mv Sandes, Nelson Carvalho
dc.subject.por.fl_str_mv Redes neurais
Algoritmos
Teoria dos jogos
topic Redes neurais
Algoritmos
Teoria dos jogos
description Redes neurais de função de base radial (redes RBF) são modelos neurais compostos de uma camada de entrada, uma camada escondida e uma camada de saída de neurônios. Por exibirem a propriedade de aproximação universal de funções contínuas, tais modelos são muito utilizados para resolver roblemas de regressão. A escolha do tipo e dos parâmetros (notadamente, centro e dispersão) das funções de base radial que compõem a camada oculta de uma rede RBF pode afetar sobremaneira a sua acurácia, sendo que algoritmos tais como orthogonal least squares (OLS), fast recursive algorithm (FRA) e two-stage selection (TSS), vêm sendo desenvolvidos para resolver essa tarefa de forma automática. Neste contexto, o presente trabalho também aborda o problema de seleção de centros de redes RBF, porém lançando mão de conceitos da área de teoria dos jogos cooperativos (TJC). Esse campo de pesquisa investiga soluções formais para o problema de se dividir a recompensa adquirida por uma coalizão de jogadores entre os seus membros, levando-se em consideração a contribuição de cada um deles. Em particular, na abordagem proposta aqui, a camada oculta de uma rede neural RBF é modelada como uma coalizão ao passo que os centros dos neurônios que a compõem são tratados como jogadores. A contribuição de cada candidato a centro aos desempenhos das redes em que ele participa é mensurada mediante o valor de Shapley, que é um dos conceitos de solução mais investigados na TJC, dadas as propriedades teóricas relevantes que ele apresenta. Dois algoritmos são propostos com base no valor de Shapley para ranquear os centros, sendo que a seleção da ordem do modelo final de rede RBF é feita com base nesse ranqueamento e adota o critério de informação de Akaike. Enquanto o primeiro algoritmo de ranqueamento avalia a qualidade dos centros em uma única iteração, o segundo algoritmo é de natureza construtiva, sendo que o centro recrutado na iteração k influencia nas avaliações dos demais neurônios nas próximas iterações. No estudo experimental realizado, o desempenho da nova abordagem foi avaliado com base em quatro problemas de regressão bem conhecidos, comparando-se a qualidade preditiva das redes RBF produzidas pelos dois algoritmos propostos com aquela gerada pela redes produzidas pelos algoritmos OLS, FRA e TSS. Os resultados obtidos mostram que a abordagem baseada na TJC é eficaz, considerando particularmente o algoritmo construtivo, que apresentou resultados competitivos aos algoritmos estado-da-arte. Por outro lado, os dois algoritmos propostos perdem no quesito eficiência, possuindo um custo computacional mais elevado. Palavras-chave: Redes Neurais RBF, Função de Base Radial, Seleção de Centros, Teoria dos Jogos Cooperativos, Valor de Shapley, Regressão.
publishDate 2013
dc.date.none.fl_str_mv 2013
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/100076
url https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/100076
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://uol.unifor.br/auth-sophia/exibicao/10553
Disponibilidade forma física: Existe obra impressa de código : 91868
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UNIFOR
instname:Universidade de Fortaleza (UNIFOR)
instacron:UNIFOR
instname_str Universidade de Fortaleza (UNIFOR)
instacron_str UNIFOR
institution UNIFOR
reponame_str Biblioteca Digital de Teses e Dissertações da UNIFOR
collection Biblioteca Digital de Teses e Dissertações da UNIFOR
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UNIFOR - Universidade de Fortaleza (UNIFOR)
repository.mail.fl_str_mv bib@unifor.br||bib@unifor.br
_version_ 1800408699120910336