Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas
Autor(a) principal: | |
---|---|
Data de Publicação: | 2016 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
Texto Completo: | http://repositorio.ufes.br/handle/10/9718 |
Resumo: | Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile Robotic |
id |
UFES_ff4aa5d49906003cd374d7b2823ffb92 |
---|---|
oai_identifier_str |
oai:repositorio.ufes.br:10/9718 |
network_acronym_str |
UFES |
network_name_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
repository_id_str |
2108 |
spelling |
Schneebeli, Hans Jorg AndreasVassallo, Raquel FrizeraSimão, JosemarCôco, Klaus FabianRauber, Thomas WalterLima, Luis Eduardo Martins deStemmer, Marcelo Ricardo2018-08-02T00:02:02Z2018-08-012018-08-02T00:02:02Z2016-08-15Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile RoboticOs algoritmos de constância de cor buscam corrigir as cores das imagens capturadas sob iluminação desconhecida para apresentá-las como se tivessem sido capturadas sob uma iluminação conhecida. Quando se trabalha com sequencias de imagens, há variação de iluminação entre elas, o que dificulta a aplicação de diversos algoritmos de visão computacional. Corrigir as imagens e apresentá-las como se estivessem sob a mesma iluminação, simplifica consideravelmente a aplicação de diversos destes algoritmos. Neste trabalho, as cores de uma sequência de imagens são corrigidas individualmente para que estas tenham a iluminação de um quadro de referência, em geral, o primeiro quadro. Para isto, é utilizada uma transformação linear geral com nove parâmetros, chamada aqui de matriz de mapeamento de cores. Um processo de otimização, por exemplo, mínimos quadrados, é necessário para a obtenção da matriz de mapeamento de cores quando o número de cores de referência for maior que o número de canais de cor. Isto é alcançado pelo cálculo da matriz pseudo-inversa. Um processo iterativo pode usar as cores de uma imagem para corrigir as cores da imagem seguinte, utilizando regiões comuns a ambas imagens. Para isso, um conjunto de cores da imagem anterior compõe as amostras de referência, e as cores da imagem atual, provenientes de regiões correspondentes às da imagem anterior, compõem as amostras capturadas. Estas amostras são utilizadas para obtenção da matriz de mapeamento de cores. Como o campo visual varia ao longo da sequência, as regiões utilizadas no cálculo da correção devem ser ajustadas a cada iteração. Este processo iterativo está presente em três métodos de correção de cores desenvolvidos nessa tese. O primeiro método, usado como base, e denominado Método usando Amostras de Referência da Imagem Anterior (MAIA), considera apenas sequências de imagens com variação de iluminação e sem movimento relativo entre a câmera e a cena. Um filtro temporal que utiliza um conjunto de imagens anteriores para produzir amostras de referência mais estáveis é aplicado para atenuar os efeitos do ruído nas imagens, dando origem ao Método do Filtro Temporal para Amostras de Referência (MFTA). Este método, acoplado a um esquema de tracking de regiões coloridas, permite a correção de cores em sequências de imagens com movimento relativo entre a câmera e a cena. No entanto, o método ainda apresenta uma sensibilidade grande aos ruídos levando a uma degradação da qualidade das imagens corrigidas. Para contornar este problema, as amostras de referência e as amostras capturadas de um conjunto de iterações anteriores são utilizadas em um filtro temporal caracterizando o terceiro método chamado Método do Filtro Temporal para Transformações (MFTT), que apresenta resultados que permitem o seu uso em diversas áreas, incluindo Robótica Móvel.Texthttp://repositorio.ufes.br/handle/10/9718porUniversidade Federal do Espírito SantoDoutorado em Engenharia ElétricaPrograma de Pós-Graduação em Engenharia ElétricaUFESBRCentro TecnológicoRedes ópticasConstância de corVisão por computadorProcessamento de imagensRobóticaEngenharia Elétrica621.3Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes)instname:Universidade Federal do Espírito Santo (UFES)instacron:UFESORIGINALtese_5145_tese_josemar_2016.pdfapplication/pdf7678404http://repositorio.ufes.br/bitstreams/759bd616-5bab-4a5a-bd77-4a72b504ce27/downloadb6234b359c1370ff070681126e01e8caMD5110/97182024-07-17 16:59:42.399oai:repositorio.ufes.br:10/9718http://repositorio.ufes.brRepositório InstitucionalPUBhttp://repositorio.ufes.br/oai/requestopendoar:21082024-10-15T17:58:53.085433Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES)false |
dc.title.none.fl_str_mv |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
title |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
spellingShingle |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas Simão, Josemar Redes ópticas Constância de cor Engenharia Elétrica Visão por computador Processamento de imagens Robótica 621.3 |
title_short |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
title_full |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
title_fullStr |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
title_full_unstemmed |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
title_sort |
Método iterativo para constância de cor em vídeos utilizando cores identificadas nas cenas |
author |
Simão, Josemar |
author_facet |
Simão, Josemar |
author_role |
author |
dc.contributor.advisor-co1.fl_str_mv |
Schneebeli, Hans Jorg Andreas |
dc.contributor.advisor1.fl_str_mv |
Vassallo, Raquel Frizera |
dc.contributor.author.fl_str_mv |
Simão, Josemar |
dc.contributor.referee1.fl_str_mv |
Côco, Klaus Fabian |
dc.contributor.referee2.fl_str_mv |
Rauber, Thomas Walter |
dc.contributor.referee3.fl_str_mv |
Lima, Luis Eduardo Martins de |
dc.contributor.referee4.fl_str_mv |
Stemmer, Marcelo Ricardo |
contributor_str_mv |
Schneebeli, Hans Jorg Andreas Vassallo, Raquel Frizera Côco, Klaus Fabian Rauber, Thomas Walter Lima, Luis Eduardo Martins de Stemmer, Marcelo Ricardo |
dc.subject.por.fl_str_mv |
Redes ópticas Constância de cor |
topic |
Redes ópticas Constância de cor Engenharia Elétrica Visão por computador Processamento de imagens Robótica 621.3 |
dc.subject.cnpq.fl_str_mv |
Engenharia Elétrica |
dc.subject.br-rjbn.none.fl_str_mv |
Visão por computador Processamento de imagens Robótica |
dc.subject.udc.none.fl_str_mv |
621.3 |
description |
Color constancy algorithms try to correct the colors of images captured under unknown lighting and present them as if they had been captured under a known lighting. When working with images sequences, there are lighting variations between the images, which hinders the application of various computer vision algorithms. Correcting the images and presenting them as if they were taken under the same lighting enables the application of various of these algorithms. In this work, the colors of images in a sequence are corrected individually so that they have the same lighting of a reference frame, in general, the first frame. To do that, general linear transformation with nine parameters is used, called here color mapping matrix. An optimization process, for example, least squares method, is necessary to obtain the color mapping matrix when the number of reference colors is higher than the number of color channels. This is achieved through the calculation of the pseudo-inverse matrix. An iterative process can use the colors of an image to correct the color of the next image, using regions common to both images. A set of colors from the former image composes the reference sample, and the colors of the next image, from regions corresponding to the those of the reference image, compose the captured sample. These samples are used to obtain the color mapping matrix. As the visual field varies throughout the sequence, the regions common to images in the sequence must be adjusted for each iteration. Three color correction methods based on this approach are shown in this thesis. The first method, the reference method, is called Method using Reference Samples from the Previous Image (MSPI), and can only be applied to image sequences with lighting variation and no relative movement between the camera and the scene, i.e., no need to adjust the regions. A temporal filter that uses a set of previous images to produce more stable reference samples is applied to attenuate the noise effects on images, giving origin to the Method of the Temporal Filter for Reference Samples (MTFS). This method, coupled with a scheme for tracking the regions with identified colors, allows color correction in sequences of images with relative movement between the camera and the scene. However, the method still presents a high sensibility to the image noise leading to a degradation of the corrected images. Using reference samples and the captured samples of a set of previous iterations and a temporal filter, the third method called Method of the Temporal Filter for Transformations (MTFT), presents results that allow its use in various areas, including Mobile Robotic |
publishDate |
2016 |
dc.date.issued.fl_str_mv |
2016-08-15 |
dc.date.accessioned.fl_str_mv |
2018-08-02T00:02:02Z |
dc.date.available.fl_str_mv |
2018-08-01 2018-08-02T00:02:02Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufes.br/handle/10/9718 |
url |
http://repositorio.ufes.br/handle/10/9718 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
Text |
dc.publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Doutorado em Engenharia Elétrica |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFES |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro Tecnológico |
publisher.none.fl_str_mv |
Universidade Federal do Espírito Santo Doutorado em Engenharia Elétrica |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) instname:Universidade Federal do Espírito Santo (UFES) instacron:UFES |
instname_str |
Universidade Federal do Espírito Santo (UFES) |
instacron_str |
UFES |
institution |
UFES |
reponame_str |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
collection |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) |
bitstream.url.fl_str_mv |
http://repositorio.ufes.br/bitstreams/759bd616-5bab-4a5a-bd77-4a72b504ce27/download |
bitstream.checksum.fl_str_mv |
b6234b359c1370ff070681126e01e8ca |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Espírito Santo (riUfes) - Universidade Federal do Espírito Santo (UFES) |
repository.mail.fl_str_mv |
|
_version_ |
1813022552105156608 |