3D Object Tracking Using RGB Camera and 3D-LiDAR Data
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2016 |
| Tipo de documento: | Dissertação |
| Idioma: | eng |
| Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| Texto Completo: | http://hdl.handle.net/10316/81488 |
Resumo: | Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia |
| id |
RCAP_2625fcebf3cbb3aad662580511ccc557 |
|---|---|
| oai_identifier_str |
oai:estudogeral.uc.pt:10316/81488 |
| network_acronym_str |
RCAP |
| network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository_id_str |
7160 |
| spelling |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data3D Object Tracking Using RGB Camera and 3D-LiDAR DataSeguimento de objetos em 3DFusão sensorialCondução autónomaMean-shiftFiltros de Kalman3D object trackingSensor fusionAutonomous drivingMean-shiftKalman filtersDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaAo longo destes últimos anos, o campo da segurança rodoviária na indústria automóvel tem sido foco de muita investigação e desenvolvimento. A evolução verificada neste campo fez com que as principais empresas do ramo tenham começado a desenvolver as suas próprias soluções de segurança de modo a obter veículos mais seguros. Um dos resultados desta investigação foi o aparecimento de sistemas de assistência à condução autónoma e veículos de condução automatizada. Estes veículos dependem de sensores precisos, montados no próprio veículo, para compreender os ambientes que os rodeiam. Assim, apenas poderão ser obtidos veículos verdadeiramente autónomos quando estes dependerem apenas da informação sensorial.No entanto, é necessário aplicar pós-processamento aos dados oriundos dos sensores de modo a que o veículo detete obstáculos e objetos enquanto navega. Entre outros, estes algoritmos permitem a extração da localização, forma e orientação do objeto. A navegação em ambientes urbanos continua a ser um problema sem soluções aceites de modo unânime, apesar das muitas propostas apresentadas. Isto prende-se principalmente com o fato dos cenários de tráfego urbano apresentarem complexidade superior a outros cenários. Os sensores existentes atualmente apresentam ainda capacidades limitadas quando usados individualmente.O pipeline da perceção é um módulo crítico para o bom funcionamento destes veículos. Em particular, o seguimento de objetos num ambiente 3D dinâmico é uma das componentes chave deste pipeline. Ao seguir um objeto, informação sobre a sua localização, forma, orientação e até velocidade podem ser obtidas. Previsões sobre os estados futuros do objeto seguido também podem ser utilizadas para que o veículo possa planear ações futuras.Na presente dissertação é apresentada uma abordagem para o seguimento online de objetos, que recorre a informação de uma imagem 2D RGB obtida por uma câmara a cores e uma nuvem de pontos 3D capturada por um sensor LiDAR, de modo a detetar e seguir um objeto em cada novo scan. O objeto alvo está inicialmente definido. Foi considerado um sistema de navegação inercial para a auto-localização do veículo. A integração de dados 2D e 3D pode provar-se benéfica para o seguimento de objetos, como é demonstrado pela abordagem apresentada. São usados algoritmos mean-shift nos espaços 2D e 3D em paralelo de modo a obter as novas localizações do objeto, e filtros Bayesianos (filtros de Kalman) para fazer a fusão da informação e, de seguida, para o próprio seguimento do objeto no espaço 3D. Este método calcula então estimativas para a localização,orientação 2D e velocidade instantânea do objeto, bem como uma estimativa da próxima localização do objeto.O método desenvolvido foi sujeito a uma série de testes, estando os resultados qualitativos e quantitativos obtidos apresentados no documento. Estes resultados mostram que o método é capaz de estimar a localização, orientação e velocidade do objeto com boa precisão. Foi feita ainda uma comparação com dois métodos de referência (baseline). Os testes utilizam informação ground truth proveniente da base de dados KITTI para o propósito de avaliação. Tendo como base os testes efetuados, é proposto um conjunto de métricas (benchmark) para facilitar a avaliação de métodos de modelação da aparência de objetos. Este benchmark consiste em cinquenta sequências compostas pela trajetória completa (e ininterrupta) do objeto em particular, sendo categorizadas com base em quatro fatores desafiantes.The field of vehicle safety in the automotive industry has been the focus of much research and development in recent years. This evolution in the field has made it possible for major players in the automotive business to start developing their own active safety solutions to achieve safer cars. One of the outcomes of these efforts has been the development of autonomous driving assistance systems and highly automated vehicles. These vehicles rely on accurate on-board sensor technologies to perceive their surrounding environments. Truly autonomous vehicles will only be a reality when they can reliably interpret the environment based on sensory data alone.However, some post processing needs to be applied to the raw data given by the sensors, so that the vehicle can perceive obstacles and objects as it navigates. Such algorithms allow, among other things, the extraction of the location, shape and orientation of object. The navigation in urban environments is still an open problem, despite the many approaches presented. This is mainly due to the fact that urban traffic situations offer additional complexity. In addition, current on-board sensors also have limited capabilities when used individually.The perception pipeline is thus a critical module of these vehicles. In particular, object tracking in a dynamic 3D environment is one of the key components of this pipeline. By tracking an object, information about location, shape, orientation and even velocity of that object can be obtained. A prediction of the future states of the tracked objects can also be obtained allowing for the planning of future actions taken by the vehicle.In the present thesis, an online object tracking approach has been developed that used information from both 2D RGB images obtained from a colour camera and 3D point clouds captured from a LiDAR sensor to detect and track an initially defined target object in every new scan. An inertial navigation system was also considered for vehicle self-localization. Integration of 2D and 3D data can provide some benefits, as demonstrated by this approach. The tracker uses two parallel mode-seeking (mean-shift) algorithms in the 2D and 3D domains to obtain new object locations and Bayesian (Kalman) filters to fuse the output information and afterwards track the object in the 3D space. Our approach outputs the target object location, 2D orientation, and instant velocityestimates, as well as a prediction about the next location of the object.The tracker was subject to a series of tests. The quantitative and qualitative results obtained are presented in the document. These results show that the proposed tracker is able to achieve good accuracy for location, orientation and velocity estimates. A comparison with two baseline 3D object trackers is also presented. The test cases used ground truth information from the KITTI database for evaluation purpose. A benchmark based on the KITTI database is also proposed in order to make the evaluation of object appearance modelling and tracking methods easier. This benchmark features 50 sequences labelled with object tracking ground-truth, categorized according to four different challenging factors.2016-09-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/81488http://hdl.handle.net/10316/81488TID:202056880engGirão, Pedro Miguel Oliveirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T13:48:42Zoai:estudogeral.uc.pt:10316/81488Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:03:33.341659Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
| dc.title.none.fl_str_mv |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data 3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| title |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| spellingShingle |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data Girão, Pedro Miguel Oliveira Seguimento de objetos em 3D Fusão sensorial Condução autónoma Mean-shift Filtros de Kalman 3D object tracking Sensor fusion Autonomous driving Mean-shift Kalman filters |
| title_short |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| title_full |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| title_fullStr |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| title_full_unstemmed |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| title_sort |
3D Object Tracking Using RGB Camera and 3D-LiDAR Data |
| author |
Girão, Pedro Miguel Oliveira |
| author_facet |
Girão, Pedro Miguel Oliveira |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Girão, Pedro Miguel Oliveira |
| dc.subject.por.fl_str_mv |
Seguimento de objetos em 3D Fusão sensorial Condução autónoma Mean-shift Filtros de Kalman 3D object tracking Sensor fusion Autonomous driving Mean-shift Kalman filters |
| topic |
Seguimento de objetos em 3D Fusão sensorial Condução autónoma Mean-shift Filtros de Kalman 3D object tracking Sensor fusion Autonomous driving Mean-shift Kalman filters |
| description |
Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia |
| publishDate |
2016 |
| dc.date.none.fl_str_mv |
2016-09-23 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/81488 http://hdl.handle.net/10316/81488 TID:202056880 |
| url |
http://hdl.handle.net/10316/81488 |
| identifier_str_mv |
TID:202056880 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
| instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| instacron_str |
RCAAP |
| institution |
RCAAP |
| reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| repository.mail.fl_str_mv |
|
| _version_ |
1799133929082454016 |