Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas

Detalhes bibliográficos
Autor(a) principal: Simão, Josemar
Data de Publicação: 2016
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
Texto Completo: http://repositorio.ufes.br/handle/10/9718
Resumo: Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile Robotic
id UFES_ff4aa5d49906003cd374d7b2823ffb92
oai_identifier_str oai:repositorio.ufes.br:10/9718
network_acronym_str UFES
network_name_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
repository_id_str 2108
spelling Schneebeli, Hans Jorg AndreasVassallo, Raquel FrizeraSimão, JosemarCôco, Klaus FabianRauber, Thomas WalterLima, Luis Eduardo Martins deStemmer, Marcelo Ricardo2018-08-02T00:02:02Z2018-08-012018-08-02T00:02:02Z2016-08-15Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile RoboticOs algoritmos de constância de cor buscam corrigir as cores das imagens capturadas sob iluminação desconhecida para apresentá-las como se tivessem sido capturadas sob uma iluminação conhecida. Quando se trabalha com sequencias de imagens, há variação de iluminação entre elas, o que dificulta a aplicação de diversos algoritmos de visão computacional. Corrigir as imagens e apresentá-las como se estivessem sob a mesma iluminação, simplifica consideravelmente a aplicação de diversos destes algoritmos. Neste trabalho, as cores de uma sequência de imagens são corrigidas individualmente para que estas tenham a iluminação de um quadro de referência, em geral, o primeiro quadro. Para isto, é utilizada uma transformação linear geral com nove parâmetros, chamada aqui de matriz de mapeamento de cores. Um processo de otimização, por exemplo, mínimos quadrados, é necessário para a obtenção da matriz de mapeamento de cores quando o número de cores de referência for maior que o número de canais de cor. Isto é alcançado pelo cálculo da matriz pseudo-inversa. Um processo iterativo pode usar as cores de uma imagem para corrigir as cores da imagem seguinte, utilizando regiões comuns a ambas imagens. Para isso, um conjunto de cores da imagem anterior compõe as amostras de referência, e as cores da imagem atual, provenientes de regiões correspondentes às da imagem anterior, compõem as amostras capturadas. Estas amostras são utilizadas para obtenção da matriz de mapeamento de cores. Como o campo visual varia ao longo da sequência, as regiões utilizadas no cálculo da correção devem ser ajustadas a cada iteração. Este processo iterativo está presente em três métodos de correção de cores desenvolvidos nessa tese. O primeiro método, usado como base, e denominado Método usando Amostras de Referência da Imagem Anterior (MAIA), considera apenas sequências de imagens com variação de iluminação e sem movimento relativo entre a câmera e a cena. Um filtro temporal que utiliza um conjunto de imagens anteriores para produzir amostras de referência mais estáveis é aplicado para atenuar os efeitos do ruído nas imagens, dando origem ao Método do Filtro Temporal para Amostras de Referência (MFTA). Este método, acoplado a um esquema de tracking de regiões coloridas, permite a correção de cores em sequências de imagens com movimento relativo entre a câmera e a cena. No entanto, o método ainda apresenta uma sensibilidade grande aos ruídos levando a uma degradação da qualidade das imagens corrigidas. Para contornar este problema, as amostras de referência e as amostras capturadas de um conjunto de iterações anteriores são utilizadas em um filtro temporal caracterizando o terceiro método chamado Método do Filtro Temporal para Transformações (MFTT), que apresenta resultados que permitem o seu uso em diversas áreas, incluindo Robótica Móvel.Texthttp://repositorio.ufes.br/handle/10/9718porUniversidade Federal do Espírito SantoDoutorado em Engenharia ElétricaPrograma de Pós-Graduação em Engenharia ElétricaUFESBRCentro TecnológicoRedes ópticasConstância de corVisão por computadorProcessamento de imagensRobóticaEngenharia Elétrica621.3Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESORIGINALtese_5145_tese_josemar_2016.pdfapplication/pdf7678404http://repositorio.ufes.br/bitstreams/759bd616-5bab-4a5a-bd77-4a72b504ce27/downloadb6234b359c1370ff070681126e01e8caMD5110/97182024-06-28 16:11:23.116oai:repositorio.ufes.br:10/9718http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-06-28T16:11:23Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false
dc.title.none.fl_str_mv Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
title Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
spellingShingle Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
Simão, Josemar
Redes ópticas
Constância de cor
Engenharia Elétrica
Visão por computador
Processamento de imagens
Robótica
621.3
title_short Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
title_full Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
title_fullStr Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
title_full_unstemmed Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
title_sort Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
author Simão, Josemar
author_facet Simão, Josemar
author_role author
dc.contributor.advisor-co1.fl_str_mv Schneebeli, Hans Jorg Andreas
dc.contributor.advisor1.fl_str_mv Vassallo, Raquel Frizera
dc.contributor.author.fl_str_mv Simão, Josemar
dc.contributor.referee1.fl_str_mv Côco, Klaus Fabian
dc.contributor.referee2.fl_str_mv Rauber, Thomas Walter
dc.contributor.referee3.fl_str_mv Lima, Luis Eduardo Martins de
dc.contributor.referee4.fl_str_mv Stemmer, Marcelo Ricardo
contributor_str_mv Schneebeli, Hans Jorg Andreas
Vassallo, Raquel Frizera
Côco, Klaus Fabian
Rauber, Thomas Walter
Lima, Luis Eduardo Martins de
Stemmer, Marcelo Ricardo
dc.subject.por.fl_str_mv Redes ópticas
Constância de cor
topic Redes ópticas
Constância de cor
Engenharia Elétrica
Visão por computador
Processamento de imagens
Robótica
621.3
dc.subject.cnpq.fl_str_mv Engenharia Elétrica
dc.subject.br-rjbn.none.fl_str_mv Visão por computador
Processamento de imagens
Robótica
dc.subject.udc.none.fl_str_mv 621.3
description Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile Robotic
publishDate 2016
dc.date.issued.fl_str_mv 2016-08-15
dc.date.accessioned.fl_str_mv 2018-08-02T00:02:02Z
dc.date.available.fl_str_mv 2018-08-01
2018-08-02T00:02:02Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufes.br/handle/10/9718
url http://repositorio.ufes.br/handle/10/9718
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv Text
dc.publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Doutorado em Engenharia Elétrica
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFES
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Centro Tecnológico
publisher.none.fl_str_mv Universidade Federal do Espírito Santo
Doutorado em Engenharia Elétrica
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
instname:Universidade Federal do Espírito Santo (UFES)
instacron:UFES
instname_str Universidade Federal do Espírito Santo (UFES)
instacron_str UFES
institution UFES
reponame_str Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
collection Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)
bitstream.url.fl_str_mv http://repositorio.ufes.br/bitstreams/759bd616-5bab-4a5a-bd77-4a72b504ce27/download
bitstream.checksum.fl_str_mv b6234b359c1370ff070681126e01e8ca
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)
repository.mail.fl_str_mv
_version_ 1804309187528753152