Vision-based ego-lane analysis system: dataset and algorithms
Autor(a) principal: | |
---|---|
Data de Publicação: | 2016 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
Texto Completo: | http://repositorio.ufes.br/handle/10/6775 |
Resumo: | Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications. |
id |
UFES_bf12c31e1cf79f2ead4d97d832e35254 |
---|---|
oai_identifier_str |
oai:repositorio.ufes.br:10/6775 |
network_acronym_str |
UFES |
network_name_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
repository_id_str |
2108 |
spelling |
Aguiar, Edilson deSantos, Thiago Oliveira dosBerriel, Rodrigo FerreiraSouza, Alberto Ferreira deSchwartz, William Robson2017-04-13T14:00:19Z2017-04-15T06:00:05Z2016-08-032016-08-03Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications.A detecção e análise da faixa de trânsito são tarefas importantes e desafiadoras em sistemas avançados de assistência ao motorista e direção autônoma. Essas tarefas são necessárias para auxiliar veículos autônomos e semi-autônomos a operarem com segurança. A queda no custo dos sensores de visão e os avanços em hardware embarcado impulsionaram as pesquisas relacionadas a faixa de trânsito –detecção, estimativa, rastreamento, etc. – nas últimas duas décadas. O interesse nesse tópico aumentou ainda mais com a demanda por sistemas avançados de assistência ao motorista (ADAS) e carros autônomos. Embora amplamente estudado de forma independente, ainda há necessidade de estudos que propõem uma solução combinada para os vários problemas relacionados a faixa do veículo, tal como aviso de saída de faixa (LDW), detecção de troca de faixa, classificação do tipo de linhas de divisão de fluxo (LMT), detecção e classificação de inscrições no pavimento, e detecção da presença de faixas ajdacentes. Esse trabalho propõe um sistema de análise da faixa do veículo (ELAS) em tempo real capaz de estimar a posição da faixa do veículo, classificar as linhas de divisão de fluxo e inscrições na faixa, realizar aviso de saída de faixa e detectar eventos de troca de faixa. O sistema proposto, baseado em visão, funciona em uma sequência temporal de imagens. Características das marcações de faixa são extraídas tanto na perspectiva original quanto em images mapeadas para a vista aérea, que então são combinadas para aumentar a robustez. A estimativa final da faixa é modelada como uma spline usando uma combinação de métodos (linhas de Hough, filtro de Kalman e filtro de partículas). Baseado na faixa estimada, todos os outros eventos são detectados. Além disso, o sistema proposto foi integrado para experimentação em um sistema para carros autônomos que está sendo desenvolvido pelo Laboratório de Computação de Alto Desempenho (LCAD) da Universidade Federal do Espírito Santo (UFES). Para validar os algorítmos propostos e cobrir a falta de base de dados para essas tarefas na literatura, uma nova base dados com mais de 20 cenas diferentes (com mais de 15.000 imagens) e considerando uma variedade de cenários (estrada urbana, rodovias, tráfego, sombras, etc.) foi criada. Essa base de dados foi manualmente anotada e disponilizada publicamente para possibilitar a avaliação de diversos eventos que são de interesse para a comunidade de pesquisa (i.e. estimativa, mudança e centralização da faixa; inscrições no pavimento; cruzamentos; tipos de linhas de divisão de fluxo; faixas de pedestre e faixas adjacentes). Além disso, o sistema também foi validado qualitativamente com base na integração com o veículo autônomo. O sistema alcançou altas taxas de detecção em todos os eventos do mundo real e provou estar pronto para aplicações em tempo real.FAPESTextBERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.http://repositorio.ufes.br/handle/10/6775engUniversidade Federal do Espírito SantoMestrado em InformáticaPrograma de Pós-Graduação em InformáticaUFESBRCentro TecnológicoEgo-Lane anlysisLane estimationKalman filterParticle filterDriver assistance systemsImage processingFiltro de partículasSistemas avançados de assistência ao motorista (ADAS)Faixa de trânsitoAnálise da faixa de trânsitoSistema de assistência ao motoristaFiltro de KalmanDatasetProcessamento de imagensKalman, filtragem deBanco de dadosVeículos autônomosCiência da Computação004Vision-based ego-lane analysis system: dataset and algorithmsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESFAPESORIGINALdissertacao Rodrigo Ferreira Berriel.pdfdissertacao Rodrigo Ferreira Berriel.pdfapplication/pdf18168750http://repositorio.ufes.br/bitstreams/cb7f72de-b61e-4b53-a05b-b62c4f2dfe2e/download52805e1f943170ef4d6cc96046ea48ecMD5110/67752024-07-17 16:59:47.899oai:repositorio.ufes.br:10/6775http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T18:02:31.788947Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false |
dc.title.none.fl_str_mv |
Vision-based ego-lane analysis system: dataset and algorithms |
title |
Vision-based ego-lane analysis system: dataset and algorithms |
spellingShingle |
Vision-based ego-lane analysis system: dataset and algorithms Berriel, Rodrigo Ferreira Ego-Lane anlysis Lane estimation Kalman filter Particle filter Driver assistance systems Image processing Filtro de partículas Sistemas avançados de assistência ao motorista (ADAS) Faixa de trânsito Análise da faixa de trânsito Sistema de assistência ao motorista Filtro de Kalman Dataset Ciência da Computação Processamento de imagens Kalman, filtragem de Banco de dados Veículos autônomos 004 |
title_short |
Vision-based ego-lane analysis system: dataset and algorithms |
title_full |
Vision-based ego-lane analysis system: dataset and algorithms |
title_fullStr |
Vision-based ego-lane analysis system: dataset and algorithms |
title_full_unstemmed |
Vision-based ego-lane analysis system: dataset and algorithms |
title_sort |
Vision-based ego-lane analysis system: dataset and algorithms |
author |
Berriel, Rodrigo Ferreira |
author_facet |
Berriel, Rodrigo Ferreira |
author_role |
author |
dc.contributor.advisor-co1.fl_str_mv |
Aguiar, Edilson de |
dc.contributor.advisor1.fl_str_mv |
Santos, Thiago Oliveira dos |
dc.contributor.author.fl_str_mv |
Berriel, Rodrigo Ferreira |
dc.contributor.referee1.fl_str_mv |
Souza, Alberto Ferreira de |
dc.contributor.referee2.fl_str_mv |
Schwartz, William Robson |
contributor_str_mv |
Aguiar, Edilson de Santos, Thiago Oliveira dos Souza, Alberto Ferreira de Schwartz, William Robson |
dc.subject.eng.fl_str_mv |
Ego-Lane anlysis Lane estimation Kalman filter Particle filter Driver assistance systems Image processing |
topic |
Ego-Lane anlysis Lane estimation Kalman filter Particle filter Driver assistance systems Image processing Filtro de partículas Sistemas avançados de assistência ao motorista (ADAS) Faixa de trânsito Análise da faixa de trânsito Sistema de assistência ao motorista Filtro de Kalman Dataset Ciência da Computação Processamento de imagens Kalman, filtragem de Banco de dados Veículos autônomos 004 |
dc.subject.por.fl_str_mv |
Filtro de partículas Sistemas avançados de assistência ao motorista (ADAS) Faixa de trânsito Análise da faixa de trânsito Sistema de assistência ao motorista Filtro de Kalman Dataset |
dc.subject.cnpq.fl_str_mv |
Ciência da Computação |
dc.subject.br-rjbn.none.fl_str_mv |
Processamento de imagens Kalman, filtragem de Banco de dados Veículos autônomos |
dc.subject.udc.none.fl_str_mv |
004 |
description |
Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications. |
publishDate |
2016 |
dc.date.submitted.none.fl_str_mv |
2016-08-03 |
dc.date.issued.fl_str_mv |
2016-08-03 |
dc.date.accessioned.fl_str_mv |
2017-04-13T14:00:19Z |
dc.date.available.fl_str_mv |
2017-04-15T06:00:05Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
BERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016. |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufes.br/handle/10/6775 |
identifier_str_mv |
BERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016. |
url |
http://repositorio.ufes.br/handle/10/6775 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
Text |
dc.publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática |
dc.publisher.initials.fl_str_mv |
UFES |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro Tecnológico |
publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Mestrado em Informática |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) instname:Universidade Federal do Espírito Santo (UFES) instacron:UFES |
instname_str |
Universidade Federal do Espírito Santo (UFES) |
instacron_str |
UFES |
institution |
UFES |
reponame_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
collection |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
bitstream.url.fl_str_mv |
http://repositorio.ufes.br/bitstreams/cb7f72de-b61e-4b53-a05b-b62c4f2dfe2e/download |
bitstream.checksum.fl_str_mv |
52805e1f943170ef4d6cc96046ea48ec |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES) |
repository.mail.fl_str_mv |
|
_version_ |
1813022578862718976 |