Generalização ótima em perceptrons
Autor(a) principal: | |
---|---|
Data de Publicação: | 1992 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | http://www.teses.usp.br/teses/disponiveis/54/54131/tde-07042015-165731/ |
Resumo: | O perceptron tem sido estudado no contexto da física estatística desde o trabalho seminal de Gardner e Derrida sobre o espaço de aclopamentos desta rede neural simples. Recentemente, Opper e Haussler calcularam via método de réplicas, o desempenho ótimo teórico do perceptron na aprendizagem de uma regra a partir de exemplos (generalização). Neste trabalho encontramos a curva de desempenho ótimo após a primeira apresentação dos exemplos (primeiro passo da dinâmica de aprendizagem). No limite de grande número de exemplos encontramos que o erro de generalização é apenas duas vezes maior que o erro encontrado por Opper e Haussler. Calculamos também o desempenho ótimo para o primeiro passo da dinâmica de aprendizagem com seleção de exemplos. Mostramos que a seleção ótima ocorre quando o novo exemplo é escolhido ortogonal ao vetor de acoplamentos do perceptron. O erro de generalização neste caso decai exponencialmente com o número de exemplos. Propomos também uma nova classe de algoritmos de aprendizagem que aproxima muito bem as curvas de desempenho ótimo. Estudamos analiticamente o primeiro passo da dinâmica de aprendizagem e numericamente seu comportamento para tempos longos. Mostramos que vários algoritmos conhecidos (Hebb, Perceptron, Adaline, Relaxação) podem ser interpretados como aproximações, de maior ou menor qualidade, de nosso algoritmo |
id |
USP_af61af3df7081b2f2e629818d29849ec |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-07042015-165731 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Generalização ótima em perceptronsNot availableNão disponívelNot availableO perceptron tem sido estudado no contexto da física estatística desde o trabalho seminal de Gardner e Derrida sobre o espaço de aclopamentos desta rede neural simples. Recentemente, Opper e Haussler calcularam via método de réplicas, o desempenho ótimo teórico do perceptron na aprendizagem de uma regra a partir de exemplos (generalização). Neste trabalho encontramos a curva de desempenho ótimo após a primeira apresentação dos exemplos (primeiro passo da dinâmica de aprendizagem). No limite de grande número de exemplos encontramos que o erro de generalização é apenas duas vezes maior que o erro encontrado por Opper e Haussler. Calculamos também o desempenho ótimo para o primeiro passo da dinâmica de aprendizagem com seleção de exemplos. Mostramos que a seleção ótima ocorre quando o novo exemplo é escolhido ortogonal ao vetor de acoplamentos do perceptron. O erro de generalização neste caso decai exponencialmente com o número de exemplos. Propomos também uma nova classe de algoritmos de aprendizagem que aproxima muito bem as curvas de desempenho ótimo. Estudamos analiticamente o primeiro passo da dinâmica de aprendizagem e numericamente seu comportamento para tempos longos. Mostramos que vários algoritmos conhecidos (Hebb, Perceptron, Adaline, Relaxação) podem ser interpretados como aproximações, de maior ou menor qualidade, de nosso algoritmoThe perceptron has been studied in the contexto f statistical physics since the seminal work of Gardner and Derrida on the coupling space of this simple neural network. Recently, Opper and Haussler calculated, with the replica method, the theoretical optimal performance of the perceptron for learning a rule (generalization). In this work we found the optimal performance curve after the first presentation of the examples (first step of learning dynamics). In the limit of large number of examples the generalization error is only two times the error found by Opper and Haussler. We also calculated the optimal performance for the first step in the learning situation with selection of examples. We show that optimal selection occurs when the new example is choosen orthogonal to the perceptron coupling vector. The generalization error in this case decay exponentially with the number of examples. We also propose a new class of learning algorithms which aproximates very well the optimal performance curves. We study analytically the first step of the learning dynamics and numerically its behaviour for long times. We show that several known learning algorithms (Hebb, Perceptron, Adaline, Relaxation) can be seen as more or less reliable aproximations o four algorithmBiblioteca Digitais de Teses e Dissertações da USPAlfonso, Nestor Felipe CatichaKinouchi Filho, Osame1992-04-03info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/54/54131/tde-07042015-165731/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2016-07-28T16:11:56Zoai:teses.usp.br:tde-07042015-165731Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212016-07-28T16:11:56Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Generalização ótima em perceptrons Not available |
title |
Generalização ótima em perceptrons |
spellingShingle |
Generalização ótima em perceptrons Kinouchi Filho, Osame Não disponível Not available |
title_short |
Generalização ótima em perceptrons |
title_full |
Generalização ótima em perceptrons |
title_fullStr |
Generalização ótima em perceptrons |
title_full_unstemmed |
Generalização ótima em perceptrons |
title_sort |
Generalização ótima em perceptrons |
author |
Kinouchi Filho, Osame |
author_facet |
Kinouchi Filho, Osame |
author_role |
author |
dc.contributor.none.fl_str_mv |
Alfonso, Nestor Felipe Caticha |
dc.contributor.author.fl_str_mv |
Kinouchi Filho, Osame |
dc.subject.por.fl_str_mv |
Não disponível Not available |
topic |
Não disponível Not available |
description |
O perceptron tem sido estudado no contexto da física estatística desde o trabalho seminal de Gardner e Derrida sobre o espaço de aclopamentos desta rede neural simples. Recentemente, Opper e Haussler calcularam via método de réplicas, o desempenho ótimo teórico do perceptron na aprendizagem de uma regra a partir de exemplos (generalização). Neste trabalho encontramos a curva de desempenho ótimo após a primeira apresentação dos exemplos (primeiro passo da dinâmica de aprendizagem). No limite de grande número de exemplos encontramos que o erro de generalização é apenas duas vezes maior que o erro encontrado por Opper e Haussler. Calculamos também o desempenho ótimo para o primeiro passo da dinâmica de aprendizagem com seleção de exemplos. Mostramos que a seleção ótima ocorre quando o novo exemplo é escolhido ortogonal ao vetor de acoplamentos do perceptron. O erro de generalização neste caso decai exponencialmente com o número de exemplos. Propomos também uma nova classe de algoritmos de aprendizagem que aproxima muito bem as curvas de desempenho ótimo. Estudamos analiticamente o primeiro passo da dinâmica de aprendizagem e numericamente seu comportamento para tempos longos. Mostramos que vários algoritmos conhecidos (Hebb, Perceptron, Adaline, Relaxação) podem ser interpretados como aproximações, de maior ou menor qualidade, de nosso algoritmo |
publishDate |
1992 |
dc.date.none.fl_str_mv |
1992-04-03 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://www.teses.usp.br/teses/disponiveis/54/54131/tde-07042015-165731/ |
url |
http://www.teses.usp.br/teses/disponiveis/54/54131/tde-07042015-165731/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1809090475774181376 |