Application of semantic segmentation through data acquired from sensors

Detalhes bibliográficos
Autor(a) principal: Monteiro, Filipe Pimenta Oliveira
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/80563
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_f12a420031aac2aa3925351a1391acc1
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/80563
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Application of semantic segmentation through data acquired from sensorsAplicação de Segmentação semântica a partir de dados recolhidos por sensoresImage segmentationSemantic segmentationDeep learningSelf-drivingAutomotive securitySegmentação semântica de imagensVeículos autónomosRedes neuronais convolucionaisSegurança automóvelEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia InformáticaToday, AI is very important in our lives as its used all around us without our knowledge. From simple things such as personal assistants like Alexa and Siri, and advertising algorithms focusing on our tastes - Netflix on the recommendation of movies or, even more common, the presentation of advertising based on our search history -, to robots and to smart houses, cities or even vehicles. The presence of AI is increasing and even if we are still far away from our ’General AI’ ideology, a machine capable of anything autonomously, each day we get closer. In the last decade multiple applications of AI have been through breakthroughs. For example, the first implementations of autonomous vehicles were introduced by Tesla and other companies. A number of discoveries must have been made to achieve this revolution of AI performance and, among them, is two of the most important developments: Object Detection and Semantic Segmentation, closely related to each other. These are responsible for understanding the environment so the machine can take actions, being the latter an improvement of the first in terms of sensibility error associated to each entity detected as well as being able to detect its corresponding type, in a pixel level. These machines require more and more data to analyse, having many types of sensors in order to collect information, such as radars, cameras, LiDAR, among others. This work falls in the study of the use of Semantic Segmentation techniques and its application on categorising data from image related sensors in order to explain its breakthroughs and challenges, as well as improving and overcoming such obstacles. Data will consist mainly of scans from outdoor/self-driving cars POV (KITTI360) with the ability to be used with other types of data such as indoor scans (COCO), to explain both road and more day-to-day images semantic compositions, applied on a state-of-art solution. Consecutively we will perform a process of optimisation in order to reduce computation costs. Currently the works of DeepLab (with the research of deeplabv3[1]) have achieved a high success on Semantic Segmentation overcoming previous problems such as handling component boundaries with more refined lines while keeping it fairly easy to run on more less powerful machines, being the start point for this work.Hoje a inteligência artificial é uma ferramenta com grande presença nas nossas vidas, muitas vezes sem a nossa perceção. De utilizações simples como assistentes pessoais - Alexa e Siri -, e personalização de publicidade baseada nos nossos gostos - apresentação de publicidade relevante baseada no nosso histórico de pesquisas -, para casos mais complexos como robôs e casas, veículos e cidades autónomas. A presença da inteligência artificial cresce, e apesar de estarmos ainda bastante longe da nossa ideia de ’General AI’ - uma máquina capaz de executar qualquer função de forma autónoma -, cada dia nos encontrámos mais perto. Na última década múltiplas aplicações da inteligência artificial realizaram avanços significativos como, por exemplo, as primeiras implementações de veículos autónomos que foram introduzidas por várias empresas, sendo a mais reconhecida a Tesla. Para chegar a este patamar nesta revolução da inteligência artificial foi necessário uma grande quantidade de estudo e descobertas onde, entre elas, duas se destacam com grande importância: Deteção de Objectos e Segmentação Semântica, ambas relacionadas. Estas são responsáveis por recolher conhecimento sobre o ambiente em que se encontra a máquina de forma a esta executar ações. Apesar de estarem ambas conectadas, a última pode ser considerada uma melhoria perante a primeira em relação á sensibilidade do erro associado a cada entidade detetada, assim como a nova capacidade de detetar todos os objetos e os seus respectivos tipos. Para isso as máquinas necessitam cada vez mais de dados para analisar e treinar, obtidas de vários possíveis sensores como radares, diferentes tipos de câmaras, LiDAR, entre outros. Esta dissertação tem então o objetivo de estudar o uso de técnicas de Segmentação Semântica e as suas aplicações na categorização de imagens provenientes de sensores do tipo câmara para explicar as suas descobertas e desafios, assim como melhorar e ultrapassar obstáculos existentes. Os dados consistem de scans das estradas, capturadas do POV de um veículo (KITTI360, sendo facilmente adaptada a utilizar scans de outros contextos para categorizar imagens mais ”comuns” (COCO). Atualmente os trabalhos do DeepLab (com o desenvolvimento do modelo deeplabv3[1]) conseguiram resultados com bastante sucesso, ultrapassando desafios anteriormente existentes tal como o tratamento dos limites de cada entidade da imagem, com vizinhanças bem definidas, sendo ao mesmo tempo capaz de ser executada em máquinas com poucos recursos, sendo por isso o ponto de início para este trabalho.Novais, PauloUniversidade do MinhoMonteiro, Filipe Pimenta Oliveira20212021-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/80563eng202950190info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:39:20Zoai:repositorium.sdum.uminho.pt:1822/80563Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:35:56.701093Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Application of semantic segmentation through data acquired from sensors
Aplicação de Segmentação semântica a partir de dados recolhidos por sensores
title Application of semantic segmentation through data acquired from sensors
spellingShingle Application of semantic segmentation through data acquired from sensors
Monteiro, Filipe Pimenta Oliveira
Image segmentation
Semantic segmentation
Deep learning
Self-driving
Automotive security
Segmentação semântica de imagens
Veículos autónomos
Redes neuronais convolucionais
Segurança automóvel
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Application of semantic segmentation through data acquired from sensors
title_full Application of semantic segmentation through data acquired from sensors
title_fullStr Application of semantic segmentation through data acquired from sensors
title_full_unstemmed Application of semantic segmentation through data acquired from sensors
title_sort Application of semantic segmentation through data acquired from sensors
author Monteiro, Filipe Pimenta Oliveira
author_facet Monteiro, Filipe Pimenta Oliveira
author_role author
dc.contributor.none.fl_str_mv Novais, Paulo
Universidade do Minho
dc.contributor.author.fl_str_mv Monteiro, Filipe Pimenta Oliveira
dc.subject.por.fl_str_mv Image segmentation
Semantic segmentation
Deep learning
Self-driving
Automotive security
Segmentação semântica de imagens
Veículos autónomos
Redes neuronais convolucionais
Segurança automóvel
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Image segmentation
Semantic segmentation
Deep learning
Self-driving
Automotive security
Segmentação semântica de imagens
Veículos autónomos
Redes neuronais convolucionais
Segurança automóvel
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/80563
url https://hdl.handle.net/1822/80563
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 202950190
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132887325343744

Registros relacionados