Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma

Detalhes bibliográficos
Autor(a) principal: Azzolini, Alisson Gusatti
Data de Publicação: 2011
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/1615798
Resumo: Orientador: Fernando José Von Zuben
id UNICAMP-30_2e1756c8f435a25002e24b175783bd6a
oai_identifier_str oai::803473
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônomaReinforcement learning in probabilistic models of immune networks for autonomous roboticsAprendizado de máquinaSistemas inteligentes de controleRobôs móveisSistemas de veículos auto-guiadosMachine learningIntelligent control systemsMobile robotsAutomated guided vehicle systemsOrientador: Fernando José Von ZubenDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Há uma demanda crescente por soluções avançadas de navegação autônoma em robótica móvel. Apresenta-se então um sistema de síntese e aprendizagem de controladores com tal finalidade. Propõe-se um controlador probabilístico, consistindo no acoplamento de um processo de decisão de Markov parcialmente observável (POMDP) com um classificador logístico multinomial. A parametrização empregada para o POMDP inspira-se numa proposta anterior de controle de robô por meio de redes imunológicas artificiais, que mostrou apresentar flexibilidade e capacidade de representação de conhecimento na execução de tarefas desafiadoras de navegação autônoma. A aprendizagem dos parâmetros do classificador logístico é efetuada através de um algoritmo de aprendizagem por reforço baseado em gradiente de política, e os do POMDP, atráves de um algoritmo de maximização de verossimilhança. Três experimentos computacionais são efetuados, dois deles utilizando somente o classificador logístico, e o terceiro utilizando o acoplamento entre POMDP e classificador logístico. Os resultados permitem a constatação de pontos fortes e algumas deficiências das duas abordagens. O trabalho aponta também para uma potencial reinterpretação do controlador baseado em rede imunológica em termos de um modelo probabilístico similar ao propostoAbstract: There is an increasing demand for advanced solutions in autonomous navigation of mobile robots. A system is presented for the synthesis and learning of controllers for such purpose. A probabilistic controller is proposed, consisting of the coupling of a partially observable Markov decision process (POMDP) with a multinomial logistic classifier. The parametrization used for the POMDP draws on an earlier proposal of robot control based on artificial immune networks, that has shown to present flexibility and knowledge representation capability in the execution of challenging autonomous navigation tasks. Learning the logistic classifier parameters is accomplished through a reinforcement learning algorithm based on policy gradient, while the POMDP parameters are learned by a likelihood maximization algorithm. Three computational experiments are performed, two of them using only the logistic classifier, and the third one using the coupling of a POMDP with a logistic classifier. The results show some strong points and drawbacks of both approaches. The work also points torwards a potential reinterpretation of the immune network based controller in terms of a probabilistic model similar to the one proposedMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica[s.n.]Von Zuben, Fernando José, 1968-Von Zuben, Fernando José, 1968-Figueiredo, Mauricio FernandesAmaral, Wagner Caradori doUniversidade Estadual de Campinas. Faculdade de Engenharia Elétrica e de ComputaçãoPrograma de Pós-Graduação em Engenharia ElétricaUNIVERSIDADE ESTADUAL DE CAMPINASAzzolini, Alisson Gusatti2011info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf152 p. : il.https://hdl.handle.net/20.500.12733/1615798AZZOLINI, Alisson Gusatti. Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma. 2011. 152 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1615798. Acesso em: 15 mai. 2024.https://repositorio.unicamp.br/acervo/detalhe/803473porreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2017-02-18T06:20:14Zoai::803473Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2017-02-18T06:20:14Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
Reinforcement learning in probabilistic models of immune networks for autonomous robotics
title Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
spellingShingle Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
Azzolini, Alisson Gusatti
Aprendizado de máquina
Sistemas inteligentes de controle
Robôs móveis
Sistemas de veículos auto-guiados
Machine learning
Intelligent control systems
Mobile robots
Automated guided vehicle systems
title_short Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
title_full Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
title_fullStr Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
title_full_unstemmed Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
title_sort Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
author Azzolini, Alisson Gusatti
author_facet Azzolini, Alisson Gusatti
author_role author
dc.contributor.none.fl_str_mv Von Zuben, Fernando José, 1968-
Von Zuben, Fernando José, 1968-
Figueiredo, Mauricio Fernandes
Amaral, Wagner Caradori do
Universidade Estadual de Campinas. Faculdade de Engenharia Elétrica e de Computação
Programa de Pós-Graduação em Engenharia Elétrica
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Azzolini, Alisson Gusatti
dc.subject.por.fl_str_mv Aprendizado de máquina
Sistemas inteligentes de controle
Robôs móveis
Sistemas de veículos auto-guiados
Machine learning
Intelligent control systems
Mobile robots
Automated guided vehicle systems
topic Aprendizado de máquina
Sistemas inteligentes de controle
Robôs móveis
Sistemas de veículos auto-guiados
Machine learning
Intelligent control systems
Mobile robots
Automated guided vehicle systems
description Orientador: Fernando José Von Zuben
publishDate 2011
dc.date.none.fl_str_mv 2011
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/1615798
AZZOLINI, Alisson Gusatti. Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma. 2011. 152 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1615798. Acesso em: 15 mai. 2024.
url https://hdl.handle.net/20.500.12733/1615798
identifier_str_mv AZZOLINI, Alisson Gusatti. Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma. 2011. 152 p. Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1615798. Acesso em: 15 mai. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/803473
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
152 p. : il.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1799138485439823872

Registros relacionados