Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | http://hdl.handle.net/1843/39328 |
Resumo: | O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal. Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante. Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons. |
id |
UFMG_30930bfc7887debf7a916b90427e28ea |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/39328 |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Antônio de Pádua Bragahttp://lattes.cnpq.br/1130012055294645Luiz Carlos Bambirra TorresLeonardo José SilvestreRogério Martins GomesMurilo Saraiva de Queirozhttp://lattes.cnpq.br/5431964263222139Lourenço Ribeiro Grossi Araújo2022-02-10T13:50:46Z2022-02-10T13:50:46Z2019-02-14http://hdl.handle.net/1843/39328O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal. Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante. Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons.This work aims at evaluating the usage of some linear separability measure taken from the structure of a hidden layer projected matrix of an Extreme Learning Machine as prior information for automatic obtention of a regularization parameter for a Tikhonov Regularization. Extreme Learning Machines (ELM) are networks that can be trained very quickly and present universal approximation property. Some regularization is usually necessary in order to stop ELMs from overfitting and Tikhonov Regularization is a straightforward option. Such technique, however, demands the selection of a regularization parameter that weights the training error minimization and the network weights norm minimization. This selection is usually carried out by cross validation, which increases training times and in fact goes against ELM philosophy. Proposed methodologies are capable of generating regularized models with similar performance to those obtained through cross validation and in much shorter times. The distance matrix calculated from the hidden layer of an ELM is also briefly explored and a proposal of parameterless regularization of Spiking Neurons ELMs is introduced.FAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas GeraisporUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Engenharia ElétricaUFMGBrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAEngenharia elétricaAprendizado do computadorRedes neurais (Computação)RegularizaçãoRedes neuraisAprendizado de máquinasUso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machinesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGLICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/39328/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD54ORIGINALUso de Informações Estruturais da Matriz de Projeção para Regularização de Extreme Learning Machines.pdfUso de Informações Estruturais da Matriz de Projeção para Regularização de Extreme Learning Machines.pdfapplication/pdf1713166https://repositorio.ufmg.br/bitstream/1843/39328/3/Uso%20de%20Informa%c3%a7%c3%b5es%20Estruturais%20da%20Matriz%20de%20Proje%c3%a7%c3%a3o%20para%20Regulariza%c3%a7%c3%a3o%20de%20Extreme%20Learning%20Machines.pdf0db68e970aeebb0c6f04c48ea7590f0cMD531843/393282022-02-10 10:50:46.501oai:repositorio.ufmg.br:1843/39328TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2022-02-10T13:50:46Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.pt_BR.fl_str_mv |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
title |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
spellingShingle |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines Lourenço Ribeiro Grossi Araújo Regularização Redes neurais Aprendizado de máquinas Engenharia elétrica Aprendizado do computador Redes neurais (Computação) |
title_short |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
title_full |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
title_fullStr |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
title_full_unstemmed |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
title_sort |
Uso de informações estruturais da matriz de projeção para regularização de Extreme Learning Machines |
author |
Lourenço Ribeiro Grossi Araújo |
author_facet |
Lourenço Ribeiro Grossi Araújo |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Antônio de Pádua Braga |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1130012055294645 |
dc.contributor.advisor-co1.fl_str_mv |
Luiz Carlos Bambirra Torres |
dc.contributor.referee1.fl_str_mv |
Leonardo José Silvestre |
dc.contributor.referee2.fl_str_mv |
Rogério Martins Gomes |
dc.contributor.referee3.fl_str_mv |
Murilo Saraiva de Queiroz |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/5431964263222139 |
dc.contributor.author.fl_str_mv |
Lourenço Ribeiro Grossi Araújo |
contributor_str_mv |
Antônio de Pádua Braga Luiz Carlos Bambirra Torres Leonardo José Silvestre Rogério Martins Gomes Murilo Saraiva de Queiroz |
dc.subject.por.fl_str_mv |
Regularização Redes neurais Aprendizado de máquinas |
topic |
Regularização Redes neurais Aprendizado de máquinas Engenharia elétrica Aprendizado do computador Redes neurais (Computação) |
dc.subject.other.pt_BR.fl_str_mv |
Engenharia elétrica Aprendizado do computador Redes neurais (Computação) |
description |
O estudo tem como objetivo principal avaliar a possibilidade de se utilizar alguma informação a respeito da separabilidade linear dos dados projetados na camada oculta de uma rede neural do tipo ELM como informação para obtenção automática de um parâmetro de Regularização de Tikhonov. Redes neurais do tipo ELM são redes que podem ser treinadas de forma muito rápida e que apresentam a propriedade de aproximação universal. Alguma forma de regularização é necessária para que redes neurais do tipo ELM sejam capazes de generalizar e a regularização de Tikhonov é uma possibilidade. No entanto, tal técnica envolve a escolha de um parâmetro que pondera entre a minimização do erro de treinamento e a minimização da norma dos pesos. Tal escolha é geralmente feita por meio de um processo de validação cruzada, que é caro e contraditório a um dos princípios das ELM, que é, justamente, a alta velocidade de treinamento. As metodologias propostas geram modelos regularizados em tempo muito menor que o gasto para obter parâmetros por validação cruzada e com desempenho (medido em termos de acurácia) muito semelhante. Foram ainda, brevemente, desenvolvidas ideias estudando a possibilidade de se utilizar a matriz de distância da camada oculta de uma rede neural do tipo ELM para o treinamento e a respeito da regularização (sem parâmetros) de redes ELM construídas com spiking neurons. |
publishDate |
2019 |
dc.date.issued.fl_str_mv |
2019-02-14 |
dc.date.accessioned.fl_str_mv |
2022-02-10T13:50:46Z |
dc.date.available.fl_str_mv |
2022-02-10T13:50:46Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1843/39328 |
url |
http://hdl.handle.net/1843/39328 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFMG |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
bitstream.url.fl_str_mv |
https://repositorio.ufmg.br/bitstream/1843/39328/4/license.txt https://repositorio.ufmg.br/bitstream/1843/39328/3/Uso%20de%20Informa%c3%a7%c3%b5es%20Estruturais%20da%20Matriz%20de%20Proje%c3%a7%c3%a3o%20para%20Regulariza%c3%a7%c3%a3o%20de%20Extreme%20Learning%20Machines.pdf |
bitstream.checksum.fl_str_mv |
cda590c95a0b51b4d15f60c9642ca272 0db68e970aeebb0c6f04c48ea7590f0c |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
|
_version_ |
1803589229748420608 |