Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/182021 |
Resumo: | Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. |
id |
URGS_8cb4c924f32974f861fd07637c103393 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/182021 |
network_acronym_str |
URGS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
repository_id_str |
1853 |
spelling |
Lemos, Liza LunardiBazzan, Ana Lucia Cetertich2018-09-15T02:57:16Z2018http://hdl.handle.net/10183/182021001076495Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores.A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.application/pdfporInformatica : TransportesAprendizado por reforçoSistemas multiagentesAgentes inteligentesMobilidade urbanaMultiagent reinforcement learningTraffic signal controlRoute choiceCo-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsitoCo-learning between drivers and traffic lights in microscopic traffic simulation info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2018mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL001076495.pdfTexto completoapplication/pdf463952http://www.lume.ufrgs.br/bitstream/10183/182021/1/001076495.pdfcb90854b0e330641a30baf7d1a9e951dMD51TEXT001076495.pdf.txt001076495.pdf.txtExtracted Texttext/plain107204http://www.lume.ufrgs.br/bitstream/10183/182021/2/001076495.pdf.txt00d569a0bcd4a3759c4c45732ee2b935MD52THUMBNAIL001076495.pdf.jpg001076495.pdf.jpgGenerated Thumbnailimage/jpeg1035http://www.lume.ufrgs.br/bitstream/10183/182021/3/001076495.pdf.jpg40abb6a724468b3f36eabf1b963f30daMD5310183/1820212024-08-15 06:30:35.446403oai:www.lume.ufrgs.br:10183/182021Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532024-08-15T09:30:35Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
dc.title.alternative.en.fl_str_mv |
Co-learning between drivers and traffic lights in microscopic traffic simulation |
title |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
spellingShingle |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito Lemos, Liza Lunardi Informatica : Transportes Aprendizado por reforço Sistemas multiagentes Agentes inteligentes Mobilidade urbana Multiagent reinforcement learning Traffic signal control Route choice |
title_short |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
title_full |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
title_fullStr |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
title_full_unstemmed |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
title_sort |
Co-aprendizado entre motoristas e controladores semafóricos em simulação microscópica de trânsito |
author |
Lemos, Liza Lunardi |
author_facet |
Lemos, Liza Lunardi |
author_role |
author |
dc.contributor.author.fl_str_mv |
Lemos, Liza Lunardi |
dc.contributor.advisor1.fl_str_mv |
Bazzan, Ana Lucia Cetertich |
contributor_str_mv |
Bazzan, Ana Lucia Cetertich |
dc.subject.por.fl_str_mv |
Informatica : Transportes Aprendizado por reforço Sistemas multiagentes Agentes inteligentes Mobilidade urbana |
topic |
Informatica : Transportes Aprendizado por reforço Sistemas multiagentes Agentes inteligentes Mobilidade urbana Multiagent reinforcement learning Traffic signal control Route choice |
dc.subject.eng.fl_str_mv |
Multiagent reinforcement learning Traffic signal control Route choice |
description |
Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. |
publishDate |
2018 |
dc.date.accessioned.fl_str_mv |
2018-09-15T02:57:16Z |
dc.date.issued.fl_str_mv |
2018 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/182021 |
dc.identifier.nrb.pt_BR.fl_str_mv |
001076495 |
url |
http://hdl.handle.net/10183/182021 |
identifier_str_mv |
001076495 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
collection |
Biblioteca Digital de Teses e Dissertações da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/182021/1/001076495.pdf http://www.lume.ufrgs.br/bitstream/10183/182021/2/001076495.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/182021/3/001076495.pdf.jpg |
bitstream.checksum.fl_str_mv |
cb90854b0e330641a30baf7d1a9e951d 00d569a0bcd4a3759c4c45732ee2b935 40abb6a724468b3f36eabf1b963f30da |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
lume@ufrgs.br||lume@ufrgs.br |
_version_ |
1810085454372929536 |