Development of an algorithm for counting vehicles and pedestrians based on video

Detalhes bibliográficos
Autor(a) principal: Matos, Miguel
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: https://hdl.handle.net/1822/79964
Resumo: Dissertação de mestrado em Computer Science
id RCAP_18d9b7e0f7bf9ca34e5af30ba9c488a8
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/79964
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Development of an algorithm for counting vehicles and pedestrians based on videoComputer visionDeep learningObject detectionObject fingerprintObject trackingDetecção de objectosMonitorização de objectosVisão por computadorEngenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado em Computer ScienceThe population density in the urban environment has increased significantly, consequently increasing the number of vehicles and people on the public road. Possible monitoring of this flow allows better problem management, and the enhancement of solutions in a smart city context, solutions that promote regular traffic in a city. This work presents a solution for counting vehicles and people in a video to use the solution developed in cities of Portugal. The solution combines deep learning techniques and traditional computer vision techniques, combining object detection, classification, ob ject tracking, and fingerprint concepts. For each concept is presented the state of the art techniques and techniques used in similar problems. To choose the best fingerprint methods, a comparative study of different techniques was produced. With a dataset of vehicle and people images, the following techniques were con sidered: Fourier Transform, Scale Invariant Feature Transform (SIFT), Color Co-occurrence Histogram (CCoH), and Autoencoders, of which CCoH showed better results. The solution pipeline consists of the YOLOv3 algorithm for the object detection part, hav ing the algorithm a convolutional neuronal network for object classification; Kalman Filter for object tracking was chosen in conjunction with the CCoH technique for object finger print. The pipeline ends with the matching of the newly detected objects with previously detected objects, using the Hungarian algorithm for this correspondence. In order to extract features using the defined pipeline, a python library has been devel oped, allowing visualization of its operation and easy integration with video sources (video files and cameras). Object counting, area definition, line intersection, heatmap’s, and object collision are examples of features that can be obtained by the library. As a global solution, a web application was developed, including a frontend application, a backend, a relational database, and a service to perform video processing with the help of the developed library. The web application is in use and in a production environment.A densidade populacional em contexto urbano tem aumentado significativamente, aumentando assim, o número de veículos e pessoas na via pública. Uma possível monitorização deste fluxo permite uma melhor gestão do problema e a potenciação de soluções em um contexto de smart city, soluções que promovam o normal tráfego em uma cidade. Este trabalho apresenta uma solução para a contagem de veículos e pessoas em vídeo com o objectivo de utilizar a solução desenvolvida em cidades de Portugal. A solução combina técnicas de deep learning e técnicas tradicionais de visão por computador, combinando conceitos de deteção de objetos, classificação, tracing de objectos e fingerprint, sendo que para cada conceito são apresentadas as técnicas estado de arte e as técnicas utilizadas em problemas semelhantes. Para escolher os melhores métodos de fingerprint um estudo comparativo de várias técnicas foi desenvolvido. Com um dataset de imagens de veículos e pessoas foram consideradas as técnicas: Fourier Transform, Scale Invariant Feature Transform (SIFT), Color Co-occurrence Histogram (CCoH) e Autoencoders, dos quais o CCoH apresentou melhores resultados. A pipeline da solução é composta pelo algoritmo YOLOv3 para a parte de deteção de objetos, tendo este algoritmo uma rede neuronal convolucional para a classificação de ob-jectos; foi escolhido o Kalman Filter para tracking de objectos em conjunto com a técnica de CCoH para fingerprint de objectos. A pipeline termina com a correspondência dos novos objectos detectados com objectos previamente detectados, sendo utilizado o algoritmo húngaro para esta correspondência. De modo a extrair features com o uso da pipeline definida, foi desenvolvida uma biblioteca python que permite a visualização do seu funcionamento e uma fácil integração com fontes de vídeo (ficheiros de vídeo e cameras). Contagem de objectos, definição de áreas, intersecção de linhas, heatmap's e a colisão de objectos são, entre outras, exemplos de features que podem ser obtidas pela biblioteca. Como solução global foi desenvolvida uma aplicação web, englobando assim, uma aplicação frontend, uma backend, uma base de dados relacional e um serviço para executar o processamento de vídeo com o auxílio da biblioteca desenvolvida. A aplicação web encontra-se em utilização e em ambiente de produção.Fernandes, António RamiresFerreira, André LeiteUniversidade do MinhoMatos, Miguel2019-12-302019-12-30T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/1822/79964eng203018893info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-12-09T01:20:44Zoai:repositorium.sdum.uminho.pt:1822/79964Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:33:03.918606Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Development of an algorithm for counting vehicles and pedestrians based on video
title Development of an algorithm for counting vehicles and pedestrians based on video
spellingShingle Development of an algorithm for counting vehicles and pedestrians based on video
Matos, Miguel
Computer vision
Deep learning
Object detection
Object fingerprint
Object tracking
Detecção de objectos
Monitorização de objectos
Visão por computador
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Development of an algorithm for counting vehicles and pedestrians based on video
title_full Development of an algorithm for counting vehicles and pedestrians based on video
title_fullStr Development of an algorithm for counting vehicles and pedestrians based on video
title_full_unstemmed Development of an algorithm for counting vehicles and pedestrians based on video
title_sort Development of an algorithm for counting vehicles and pedestrians based on video
author Matos, Miguel
author_facet Matos, Miguel
author_role author
dc.contributor.none.fl_str_mv Fernandes, António Ramires
Ferreira, André Leite
Universidade do Minho
dc.contributor.author.fl_str_mv Matos, Miguel
dc.subject.por.fl_str_mv Computer vision
Deep learning
Object detection
Object fingerprint
Object tracking
Detecção de objectos
Monitorização de objectos
Visão por computador
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Computer vision
Deep learning
Object detection
Object fingerprint
Object tracking
Detecção de objectos
Monitorização de objectos
Visão por computador
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado em Computer Science
publishDate 2019
dc.date.none.fl_str_mv 2019-12-30
2019-12-30T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1822/79964
url https://hdl.handle.net/1822/79964
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv 203018893
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132846574534656

Registros relacionados