Anomaly detection in fleet service vehicles: improving object segmentation

Detalhes bibliográficos
Autor(a) principal: Morais, Joel Tomás
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/78232
Resumo: Dissertação de mestrado integrado em Engenharia Informática
id RCAP_332c713e3c37a75a2e93acb882b2107a
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/78232
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Anomaly detection in fleet service vehicles: improving object segmentationSegmentationObject detectionBounding boxEngenharia e Tecnologia::Outras Engenharias e TecnologiasDissertação de mestrado integrado em Engenharia InformáticaThe present dissertation is inserted in a BOSCH project in which the global focus is au tonomous driving. The project is divided in multiple phases, being the main focus of this dissertation object detection and segmentation inside fleet service vehicles. The objective is to detect/segment objects and dirt left inside a vehicle, warning the commuter if they forgot an object inside or the administrators if the vehicles need to be cleaned. To train the models, BOSCH provided an initial dataset containing a small set of annotated images. This dataset contains pictures of a vehicles cockpit with many diverse objects and dirt. One of the goals for BOSCH is to increment this dataset with more images. Hence, in this project several state of the art segmentation methods were thoroughly studied and analysed, with two of them being selected for further exploration: DeepExtremeCut and FgSegNet v2. The main objective is to see to what extent can these methods be used in a semi automatic process to segment more images, thereby increasing the initial dataset. DeepExtremeCut works by using a framework in which, after the model is trained, it allows us to click on four extreme points in the desired object, producing the segmentation. This method produced reliable segmentations, however it requires human intervention both for the initial segmentation and verification of the output. Hence, it was not regarded as a good solution for a future augmentation of the BOSCH dataset. Regarding FgSegNet v2, this later method does not require any initial annotation of the input images. Under this approach only a final verification and possible rectification is required. Therefore, this method meets the requirements defined by BOSCH for a dataset expansion solution. An ablation study is also presented for FgSegNet v2, analysing its three stages: (i) Encoder, (ii) Feature Pooling Module and (iii) Decoder. The result of this study is a proposal of a variation of the aforementioned method called Mod FgSegNet. It was also compared with state of the art methods in public datasets. Three datasets are used for testing: CDNet2014, SBI2015 and CityScapes. In CDNet2014 we got an overall improvement when compared to the state of the art, particularly in the LowFrameRate subset. Regarding SBI2015 the overall results are lower in comparison with the top state of art, while in CityScapes some promising results are presented.A presente dissertação está inserida num projeto da BOSCH, em que o foco global é a condução autónoma. Este projeto foi dividido em múltiplas fases, sendo o foco principal desta dissertação e a detecção e a segmentação de objetos. O objetivo é detectar / segmentar objetos e lixo deixados no interior de um veículo, avisando o passageiro se ele se esqueceu de algum objeto no interior ou os administradores se os veículos precisam de ser limpos. Para lidar com este tópico, vários métodos de segmentação do estado da arte foram exaustivamente estudados e analisados, nos quais dois deles em particular foram explorados, ou seja, o DeepExtremeCut e o FgSegNet. Algumas melhorias foram feitas no desempenho deste último, permitindo um potencial aumento semiautomático no tamanho de um dataset fornecido pela BOSCH, uma vez que não possuía imagens suficientes. Este dataset contém fotos da cabine de um veículo com diferentes objetos e lixo. O DeepExtremeCut funciona através do uso de uma framework no qual, após o treino do modelo, permite clicar em quatro pontos extremos do objeto desejado, produzindo a segmentação. Este método produz segmentações confiáveis, embora não corresponda a uma segmentação automática, visto que existe a necessidade de selecionar todos os objetos, ainda pode ser útil quando a segmentação automática de um método diferente não estiver a funcionar em casos particulares. Em relação ao FgSegNet v2, e apresentado um estudo de ablação, sendo feita uma análise das suas três etapas: (i) Encoder, (ii) Feate Pooling Module e (iii) Decoder. O resultado deste estudo e uma proposta de variação do referido método no dataset da BOSCH, de forma a utilizá-lo potencialmente em vários projetos dentro da empresa, chamado Mod_FgSegNet. Também foi comparado com métodos do estado de arte em datasets públicos. Os três datasets usados para teste são: CDNet 2014, SBI2015 e CityScapes. No CDNet2014, obtivemos uma melhoria geral em comparação com o estado da arte, principalmente no subconjunto LowFrameRate. Em relação ao ao SBI2015, os resultados gerais foram inferiores em comparação com o estado da arte de ponta, enquanto que no CityScapes alguns resultados promissores foram apresentados.Fernandes, António RamiresFerreira, André LeiteUniversidade do MinhoMorais, Joel Tomás2021-07-262021-07-26T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/78232eng202995585info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:39:22Zoai:repositorium.sdum.uminho.pt:1822/78232Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:35:58.884323Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Anomaly detection in fleet service vehicles: improving object segmentation
title Anomaly detection in fleet service vehicles: improving object segmentation
spellingShingle Anomaly detection in fleet service vehicles: improving object segmentation
Morais, Joel Tomás
Segmentation
Object detection
Bounding box
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
title_short Anomaly detection in fleet service vehicles: improving object segmentation
title_full Anomaly detection in fleet service vehicles: improving object segmentation
title_fullStr Anomaly detection in fleet service vehicles: improving object segmentation
title_full_unstemmed Anomaly detection in fleet service vehicles: improving object segmentation
title_sort Anomaly detection in fleet service vehicles: improving object segmentation
author Morais, Joel Tomás
author_facet Morais, Joel Tomás
author_role author
dc.contributor.none.fl_str_mv Fernandes, António Ramires
Ferreira, André Leite
Universidade do Minho
dc.contributor.author.fl_str_mv Morais, Joel Tomás
dc.subject.por.fl_str_mv Segmentation
Object detection
Bounding box
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
topic Segmentation
Object detection
Bounding box
Engenharia e Tecnologia::Outras Engenharias e Tecnologias
description Dissertação de mestrado integrado em Engenharia Informática
publishDate 2021
dc.date.none.fl_str_mv 2021-07-26
2021-07-26T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/78232
url https://hdl.handle.net/1822/78232
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 202995585
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132887374626816

Registros relacionados