Vision-based ego-lane analysis system: dataset and algorithms

Detalhes bibliográficos
Autor(a) principal: Berriel, Rodrigo Ferreira
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
Texto Completo: http://repositorio.ufes.br/handle/10/6775
Resumo: Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications.
id UFES_bf12c31e1cf79f2ead4d97d832e35254
oai_identifier_str oai:repositorio.ufes.br:10/6775
network_acronym_str UFES
network_name_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository_id_str 2108
spelling Aguiar, Edilson deSantos, Thiago Oliveira dosBerriel, Rodrigo FerreiraSouza, Alberto Ferreira deSchwartz, William Robson2017-04-13T14:00:19Z2017-04-15T06:00:05Z2016-08-032016-08-03Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications.A detecção e análise da faixa de trânsito são tarefas importantes e desafiadoras em sistemas avançados de assistência ao motorista e direção autônoma. Essas tarefas são necessárias para auxiliar veículos autônomos e semi-autônomos a operarem com segurança. A queda no custo dos sensores de visão e os avanços em hardware embarcado impulsionaram as pesquisas relacionadas a faixa de trânsito –detecção, estimativa, rastreamento, etc. – nas últimas duas décadas. O interesse nesse tópico aumentou ainda mais com a demanda por sistemas avançados de assistência ao motorista (ADAS) e carros autônomos. Embora amplamente estudado de forma independente, ainda há necessidade de estudos que propõem uma solução combinada para os vários problemas relacionados a faixa do veículo, tal como aviso de saída de faixa (LDW), detecção de troca de faixa, classificação do tipo de linhas de divisão de fluxo (LMT), detecção e classificação de inscrições no pavimento, e detecção da presença de faixas ajdacentes. Esse trabalho propõe um sistema de análise da faixa do veículo (ELAS) em tempo real capaz de estimar a posição da faixa do veículo, classificar as linhas de divisão de fluxo e inscrições na faixa, realizar aviso de saída de faixa e detectar eventos de troca de faixa. O sistema proposto, baseado em visão, funciona em uma sequência temporal de imagens. Características das marcações de faixa são extraídas tanto na perspectiva original quanto em images mapeadas para a vista aérea, que então são combinadas para aumentar a robustez. A estimativa final da faixa é modelada como uma spline usando uma combinação de métodos (linhas de Hough, filtro de Kalman e filtro de partículas). Baseado na faixa estimada, todos os outros eventos são detectados. Além disso, o sistema proposto foi integrado para experimentação em um sistema para carros autônomos que está sendo desenvolvido pelo Laboratório de Computação de Alto Desempenho (LCAD) da Universidade Federal do Espírito Santo (UFES). Para validar os algorítmos propostos e cobrir a falta de base de dados para essas tarefas na literatura, uma nova base dados com mais de 20 cenas diferentes (com mais de 15.000 imagens) e considerando uma variedade de cenários (estrada urbana, rodovias, tráfego, sombras, etc.) foi criada. Essa base de dados foi manualmente anotada e disponilizada publicamente para possibilitar a avaliação de diversos eventos que são de interesse para a comunidade de pesquisa (i.e. estimativa, mudança e centralização da faixa; inscrições no pavimento; cruzamentos; tipos de linhas de divisão de fluxo; faixas de pedestre e faixas adjacentes). Além disso, o sistema também foi validado qualitativamente com base na integração com o veículo autônomo. O sistema alcançou altas taxas de detecção em todos os eventos do mundo real e provou estar pronto para aplicações em tempo real.FAPESTextBERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.http://repositorio.ufes.br/handle/10/6775engUniversidade Federal do Espírito SantoMestrado em InformáticaPrograma de Pós-Graduação em InformáticaUFESBRCentro TecnológicoEgo-Lane anlysisLane estimationKalman filterParticle filterDriver assistance systemsImage processingFiltro de partículasSistemas avançados de assistência ao motorista (ADAS)Faixa de trânsitoAnálise da faixa de trânsitoSistema de assistência ao motoristaFiltro de KalmanDatasetProcessamento de imagensKalman, filtragem deBanco de dadosVeículos autônomosCiência da Computação004Vision-based ego-lane analysis system: dataset and algorithmsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESFAPESORIGINALdissertacao Rodrigo Ferreira Berriel.pdfdissertacao Rodrigo Ferreira Berriel.pdfapplication/pdf18168750http://repositorio.ufes.br/bitstreams/cb7f72de-b61e-4b53-a05b-b62c4f2dfe2e/download52805e1f943170ef4d6cc96046ea48ecMD5110/67752024-07-17 16:59:47.899oai:repositorio.ufes.br:10/6775http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T18:02:31.788947Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false
dc.title.none.fl_str_mv Vision-based ego-lane analysis system: dataset and algorithms
title Vision-based ego-lane analysis system: dataset and algorithms
spellingShingle Vision-based ego-lane analysis system: dataset and algorithms
Berriel, Rodrigo Ferreira
Ego-Lane anlysis
Lane estimation
Kalman filter
Particle filter
Driver assistance systems
Image processing
Filtro de partículas
Sistemas avançados de assistência ao motorista (ADAS)
Faixa de trânsito
Análise da faixa de trânsito
Sistema de assistência ao motorista
Filtro de Kalman
Dataset
Ciência da Computação
Processamento de imagens
Kalman, filtragem de
Banco de dados
Veículos autônomos
004
title_short Vision-based ego-lane analysis system: dataset and algorithms
title_full Vision-based ego-lane analysis system: dataset and algorithms
title_fullStr Vision-based ego-lane analysis system: dataset and algorithms
title_full_unstemmed Vision-based ego-lane analysis system: dataset and algorithms
title_sort Vision-based ego-lane analysis system: dataset and algorithms
author Berriel, Rodrigo Ferreira
author_facet Berriel, Rodrigo Ferreira
author_role author
dc.contributor.advisor-co1.fl_str_mv Aguiar, Edilson de
dc.contributor.advisor1.fl_str_mv Santos, Thiago Oliveira dos
dc.contributor.author.fl_str_mv Berriel, Rodrigo Ferreira
dc.contributor.referee1.fl_str_mv Souza, Alberto Ferreira de
dc.contributor.referee2.fl_str_mv Schwartz, William Robson
contributor_str_mv Aguiar, Edilson de
Santos, Thiago Oliveira dos
Souza, Alberto Ferreira de
Schwartz, William Robson
dc.subject.eng.fl_str_mv Ego-Lane anlysis
Lane estimation
Kalman filter
Particle filter
Driver assistance systems
Image processing
topic Ego-Lane anlysis
Lane estimation
Kalman filter
Particle filter
Driver assistance systems
Image processing
Filtro de partículas
Sistemas avançados de assistência ao motorista (ADAS)
Faixa de trânsito
Análise da faixa de trânsito
Sistema de assistência ao motorista
Filtro de Kalman
Dataset
Ciência da Computação
Processamento de imagens
Kalman, filtragem de
Banco de dados
Veículos autônomos
004
dc.subject.por.fl_str_mv Filtro de partículas
Sistemas avançados de assistência ao motorista (ADAS)
Faixa de trânsito
Análise da faixa de trânsito
Sistema de assistência ao motorista
Filtro de Kalman
Dataset
dc.subject.cnpq.fl_str_mv Ciência da Computação
dc.subject.br-rjbn.none.fl_str_mv Processamento de imagens
Kalman, filtragem de
Banco de dados
Veículos autônomos
dc.subject.udc.none.fl_str_mv 004
description Lane detection and analysis are important and challenging tasks in advanced driver assistance systems and autonomous driving. These tasks are required in order to help autonomous and semi-autonomous vehicles to operate safely. Decreasing costs of vision sensors and advances in embedded hardware boosted lane related research – detection, estimation, tracking, etc. – in the past two decades. The interest in this topic has increased even more with the demand for advanced driver assistance systems (ADAS) and self-driving cars. Although extensively studied independently, there is still need for studies that propose a combined solution for the multiple problems related to the ego-lane, such as lane departure warning (LDW), lane change detection, lane marking type (LMT) classification, road markings detection and classification, and detection of adjacent lanes presence. This work proposes a real-time Ego-Lane Analysis System (ELAS) capable of estimating ego-lane position, classifying LMTs and road markings, performing LDW and detecting lane change events. The proposed vision-based system works on a temporal sequence of images. Lane marking features are extracted in perspective and Inverse Perspective Mapping (IPM) images that are combined to increase robustness. The final estimated lane is modeled as a spline using a combination of methods (Hough lines, Kalman filter and Particle filter). Based on the estimated lane, all other events are detected. Moreover, the proposed system was integrated for experimentation into an autonomous car that is being developed by the High Performance Computing Laboratory of the Universidade Federal do Espírito Santo. To validate the proposed algorithms and cover the lack of lane datasets in the literature, a new dataset with more than 20 different scenes (in more than 15,000 frames) and considering a variety of scenarios (urban road, highways, traffic, shadows, etc.) was created. The dataset was manually annotated and made publicly available to enable evaluation of several events that are of interest for the research community (i.e. lane estimation, change, and centering; road markings; intersections; LMTs; crosswalks and adjacent lanes). Furthermore, the system was also validated qualitatively based on the integration with the autonomous vehicle. ELAS achieved high detection rates in all real-world events and proved to be ready for real-time applications.
publishDate 2016
dc.date.submitted.none.fl_str_mv 2016-08-03
dc.date.issued.fl_str_mv 2016-08-03
dc.date.accessioned.fl_str_mv 2017-04-13T14:00:19Z
dc.date.available.fl_str_mv 2017-04-15T06:00:05Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv BERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.
dc.identifier.uri.fl_str_mv http://repositorio.ufes.br/handle/10/6775
identifier_str_mv BERRIEL, Rodrigo Ferreira. Vision-based ego-lane analysis system: dataset and algorithms. 2016. 102 f. Dissertação (Mestrado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2016.
url http://repositorio.ufes.br/handle/10/6775
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv Text
dc.publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Mestrado em Informática
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Informática
dc.publisher.initials.fl_str_mv UFES
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Centro Tecnológico
publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Mestrado em Informática
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
instname:Universidade Federal do Espírito Santo (UFES)
instacron:UFES
instname_str Universidade Federal do Espírito Santo (UFES)
instacron_str UFES
institution UFES
reponame_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
collection Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
bitstream.url.fl_str_mv http://repositorio.ufes.br/bitstreams/cb7f72de-b61e-4b53-a05b-b62c4f2dfe2e/download
bitstream.checksum.fl_str_mv 52805e1f943170ef4d6cc96046ea48ec
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)
repository.mail.fl_str_mv
_version_ 1813022578862718976