Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2021 |
| Tipo de documento: | Dissertação |
| Idioma: | por |
| Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| Texto Completo: | http://hdl.handle.net/1822/76580 |
Resumo: | Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores |
| id |
RCAP_b014e5591ebd17c46699011068463601 |
|---|---|
| oai_identifier_str |
oai:repositorium.sdum.uminho.pt:1822/76580 |
| network_acronym_str |
RCAP |
| network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository_id_str |
|
| spelling |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhadosVeículos autónomos partilhadosDeep learningVisão por computadordeteção de pose corporalReconhecimento de ações violentasShared autonomous vehiclesComputer visionBody posture detectionRecognition of violent actionsEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresOs veículos totalmente autónomos são cada vez mais uma realidade que vêm alterar por completo o atual conceito da condução. Surge assim o conceito de veículos autónomos partilhados (SAV; do inglês, Shared Autonomous Vehicle), que são veículos cujas viagens são partilhadas e a condução é completamente autónoma. De forma a garantir a segurança entre passageiros dos SAV, visto ser possível a partilha entre pessoas desconhecidas, surge a necessidade de desenvolver um sistema de monitorização capaz de reconhecer ações, nomeadamente as violentas entre os passageiros. Projetar um sistema de monitorização do interior de um veículo para reconhecimento de ações é atualmente possível, recorrendo a técnicas de Visão por Computador (VC) em conjunto com técnicas de deep learning (DL). Neste trabalho foi desenvolvida uma solução baseada em técnicas de DL, para reconhecimento de ações humanas com base na pose corporal de forma a colmatar esta problemática existente nos SAV, com foco no reconhecimento de ações violentas entre os passageiros. Este trabalho divide-se em dois módulos principais: (1) deteção da pose corporal; e (2) reconhecimento de ações violentas. Após a análise do estado da arte, selecionou-se para o primeiro módulo o algoritmo OpenPose, e para o segundo o algoritmo de redes convolucionais de grafos espaço-temporais (MS-G3D). Uma vez que o OpenPose estima poses em 2D e o MS-G3D tem como entrada uma pose em 3D, tornou-se necessário a implementação de uma estratégia para conversão da pose 2D em 3D, tendo-se optado pelo uso de um algoritmo também baseado em redes convolucionais. Na análise deste problema validamos cada módulo individualmente. No primeiro módulo utilizou-se um dataset de imagens sintéticas (depth) no interior de veículos, e no segundo utilizou-se um pequeno dataset de ações violentas e não-violentas adquirido em contexto laboratorial. Após a implementação/adaptação e otimização dos algoritmos selecionados, foram realizados diversos ensaios. No módulo de deteção de pose testou-se a utilização de diferentes arquiteturas base, nomeadamente CMU, MobileNetV1 e MobileNetV2. Os resultados obtidos foram satisfatórios, tendo o melhor resultado sido obtido pela arquitetura CMU, com uma precisão média de 76.2%. Este resultado é similar ao originalmente reportado pelo OpenPose para o dataset público COCO (79%). No módulo de reconhecimento de ações, o algoritmo MS-G3D teve uma exatidão de 78.9%, sendo o desempenho limitado principalmente pelo tamanho do dataset utilizado. Em suma, desenvolveu-se com sucesso uma solução para deteção de ações violentas no interior de veículos. No futuro, pretende-se validar a estratégia na íntegra com o recurso a um dataset real único que contenha simultaneamente anotações de pose e ações.The fully autonomous vehicles are increasingly a reality in our daily life that comes to change completely the current concept of driving. Those vehicles will no longer need a driver and will have autonomy to move themselves. So the concept of Shared Autonomous Vehicles (SAV) arises, based on vehicles that are shared and whose driving is completely autonomous. To ensure the safety between SAV’s passengers, since these vehicles might be shared between unknown people, there is the need to develop a monitoring system able to recognize actions, namely the violent ones carried out by passengers, to ensure safety of those who enjoy them. The design of a monitoring system to recognize actions inside a vehicle is currently possible using computer vision techniques and thanks to the potential of deep learning (DL) techniques. In this work, a solution was developed based on DL techniques for recognition of human actions based on the temporal evolution of body posture, focusing on recognizing primarily violent actions among passengers. This work is divided in two main modules: (1) body posture detection; and (2) recognition of violent actions. Upon analyzing the state-of-the-art, we selected the OpenPose algorithm for the first module, and the spatio-temporal graph convolutional network algorithm (MSG3D) for the second. Since the OpenPose estimates 2D postures and the MS-G3D uses 3D postures as input, it became necessary to implement a strategy for 2D to 3D posture conversion, having opted for the use of an algorithm also based on convolutional networks. In the analysis of this problem, we validated each module individually. In the first module, a dataset of synthetic in-vehicle depth images was used, while a small dataset of violent and non-violent actions was acquired in a lab context and used to assess the second module. After implementation/adaptation and optimization of the selected algorithms, several tests were carried out. On the posture detection module the use of different base architectures were tested, namely CMU, MobileNetV1 and MobileNetV2. The obtained results were satisfactory, with the best result being obtained by the CMU architecture, with an average accuracy of 76.2%. This result is similar to the one originally reported by OpenPose for the public dataset COCO (79%). On the action recognition module, the MS-G3D algorithm had an accuracy of 78.9%, with its performance being limited by the size of the dataset used. In short, a solution for the detection of violent actions inside vehicles has been successfully developed. In the future, we intend to validate the projected solution with a single in-vehicle dataset with both pose and action annotations.Este trabalho foi financiado pelos Fundos Europeus Estruturais e de Investimento na componente do Fundo Europeu de Desenvolvimento Regional (FEDER), através do Programa Operacional Factores de Competitividade (COMPETE 2020) [projeto n.º 039334; ref.ª de financiamento: POCI-01-0247- FEDER-039334]Fonseca, Jaime C.Queirós, Sandro Filipe MonteiroUniversidade do MinhoSousa, João Ricardo Nunes20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/76580por202798380info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:20:19ZPortal AgregadorONG |
| dc.title.none.fl_str_mv |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| title |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| spellingShingle |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados Sousa, João Ricardo Nunes Veículos autónomos partilhados Deep learning Visão por computador deteção de pose corporal Reconhecimento de ações violentas Shared autonomous vehicles Computer vision Body posture detection Recognition of violent actions Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| title_short |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| title_full |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| title_fullStr |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| title_full_unstemmed |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| title_sort |
Deteção de ações a partir da pose corporal dentro de veículos autónomos partilhados |
| author |
Sousa, João Ricardo Nunes |
| author_facet |
Sousa, João Ricardo Nunes |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Fonseca, Jaime C. Queirós, Sandro Filipe Monteiro Universidade do Minho |
| dc.contributor.author.fl_str_mv |
Sousa, João Ricardo Nunes |
| dc.subject.por.fl_str_mv |
Veículos autónomos partilhados Deep learning Visão por computador deteção de pose corporal Reconhecimento de ações violentas Shared autonomous vehicles Computer vision Body posture detection Recognition of violent actions Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| topic |
Veículos autónomos partilhados Deep learning Visão por computador deteção de pose corporal Reconhecimento de ações violentas Shared autonomous vehicles Computer vision Body posture detection Recognition of violent actions Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática |
| description |
Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021 2021-01-01T00:00:00Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1822/76580 |
| url |
http://hdl.handle.net/1822/76580 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
202798380 |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
| instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| instacron_str |
RCAAP |
| institution |
RCAAP |
| reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository.name.fl_str_mv |
|
| repository.mail.fl_str_mv |
|
| _version_ |
1777303734000287744 |