A patchmatch-based approach for matte propagation in videos

Detalhes bibliográficos
Autor(a) principal: Backes, Marcos Henrique
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/211252
Resumo: Apesar de avanços consideráveis em alpha matting de imagens naturais nas últimas décadas, video matting ainda continua sendo um problema difícil. Os desafios principais encarados pelos métodos existentes são a grande quantidade de interação do usuário requerida e inconsistências temporais em mattes entre pares de quadros adjacentes. Nesse trabalho, é apresentado um método temporalmente coerente de propagação do canal alfa em vídeos baseado em PatchMatch e filtros de suavização com preservação de arestas. Dado um vídeo de entrada e trimaps para alguns frames, incluindo o primeiro e o último, nossa abordagem gera alpha mattes para todos os quadros da sequência de vídeo. É apresentado, também, uma interface baseada em rabiscos para video matting que se aproveita da eficiência do nosso método para interativamente refinar os resultados. É demonstrada a eficácia da nossa abordagem usando-a para gerar mattes temporalmente coerentes para várias sequências de vídeo. Foi realizada uma comparação quantitativa com o estado da arte em técnicas de video matting que mostra que nosso método produz resultados significativamente melhores de acordo com três métricas diferentes. Além disso, foi realizada uma análise qualitativa contra técnicas de video matting que requerem um trimap por quadro que mostra que nossa técnica produz resultados similares usando apenas 7% da quantidade de interação do usuário requerida pelas outras técnicas. Esses resultados mostram que a técnica proposta é efetiva e fácil de usar superando o estado da arte.
id URGS_58be67a11a9192fa27a176e168d63c92
oai_identifier_str oai:www.lume.ufrgs.br:10183/211252
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Backes, Marcos HenriqueOliveira Neto, Manuel Menezes de2020-07-02T03:36:14Z2020http://hdl.handle.net/10183/211252001114941Apesar de avanços consideráveis em alpha matting de imagens naturais nas últimas décadas, video matting ainda continua sendo um problema difícil. Os desafios principais encarados pelos métodos existentes são a grande quantidade de interação do usuário requerida e inconsistências temporais em mattes entre pares de quadros adjacentes. Nesse trabalho, é apresentado um método temporalmente coerente de propagação do canal alfa em vídeos baseado em PatchMatch e filtros de suavização com preservação de arestas. Dado um vídeo de entrada e trimaps para alguns frames, incluindo o primeiro e o último, nossa abordagem gera alpha mattes para todos os quadros da sequência de vídeo. É apresentado, também, uma interface baseada em rabiscos para video matting que se aproveita da eficiência do nosso método para interativamente refinar os resultados. É demonstrada a eficácia da nossa abordagem usando-a para gerar mattes temporalmente coerentes para várias sequências de vídeo. Foi realizada uma comparação quantitativa com o estado da arte em técnicas de video matting que mostra que nosso método produz resultados significativamente melhores de acordo com três métricas diferentes. Além disso, foi realizada uma análise qualitativa contra técnicas de video matting que requerem um trimap por quadro que mostra que nossa técnica produz resultados similares usando apenas 7% da quantidade de interação do usuário requerida pelas outras técnicas. Esses resultados mostram que a técnica proposta é efetiva e fácil de usar superando o estado da arte.Despite considerable advances in natural image matting over the last decades, video matting still remains a difficult problem. The main challenges faced by existing methods are the large amount of user input required, and temporal inconsistencies in mattes between pairs of adjacent frames. We present a temporally-coherent matte-propagation method for videos based on PatchMatch and edge-aware filtering. Given an input video and trimaps for a few frames, including the first and last, our approach generates alpha mattes for all frames of the video sequence. We also present a user scribble-based interface for video matting that takes advantage of the efficiency of our method to interactively refine the matte results. We demonstrate the effectiveness of our approach by using it to generate temporally-coherent mattes for several natural video sequences. We perform quantitative comparisons against the state-of-the-art sparse-input video matting techniques and show that our method produces significantly better results according to three different metrics. We also perform qualitative comparisons against the state-of-the-art dense-input video matting techniques and show that our approach produces similar quality results while requiring only about 7% of the amount of user input required by such techniques. These results show that our method is both effective and user-friendly, outperforming state-ofthe- art solutions.application/pdfengEdição de imagensVídeoImagens naturaisImage/Video EditingAlpha MattingVideo MattingVideo CompositingA patchmatch-based approach for matte propagation in videosUma abordagem baseada em PatchMatch para a propagação de alpha matte em videos info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2020mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001114941.pdf.txt001114941.pdf.txtExtracted Texttext/plain118781http://www.lume.ufrgs.br/bitstream/10183/211252/2/001114941.pdf.txt1e67831032445c31d51e87f614e24a79MD52ORIGINAL001114941.pdfTexto completo (inglês)application/pdf19368076http://www.lume.ufrgs.br/bitstream/10183/211252/1/001114941.pdf107b96b91cfa10fed06cf14728bbd0c2MD5110183/2112522024-04-04 06:41:22.930381oai:www.lume.ufrgs.br:10183/211252Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532024-04-04T09:41:22Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv A patchmatch-based approach for matte propagation in videos
dc.title.alternative.pt.fl_str_mv Uma abordagem baseada em PatchMatch para a propagação de alpha matte em videos
title A patchmatch-based approach for matte propagation in videos
spellingShingle A patchmatch-based approach for matte propagation in videos
Backes, Marcos Henrique
Edição de imagens
Vídeo
Imagens naturais
Image/Video Editing
Alpha Matting
Video Matting
Video Compositing
title_short A patchmatch-based approach for matte propagation in videos
title_full A patchmatch-based approach for matte propagation in videos
title_fullStr A patchmatch-based approach for matte propagation in videos
title_full_unstemmed A patchmatch-based approach for matte propagation in videos
title_sort A patchmatch-based approach for matte propagation in videos
author Backes, Marcos Henrique
author_facet Backes, Marcos Henrique
author_role author
dc.contributor.author.fl_str_mv Backes, Marcos Henrique
dc.contributor.advisor1.fl_str_mv Oliveira Neto, Manuel Menezes de
contributor_str_mv Oliveira Neto, Manuel Menezes de
dc.subject.por.fl_str_mv Edição de imagens
Vídeo
Imagens naturais
topic Edição de imagens
Vídeo
Imagens naturais
Image/Video Editing
Alpha Matting
Video Matting
Video Compositing
dc.subject.eng.fl_str_mv Image/Video Editing
Alpha Matting
Video Matting
Video Compositing
description Apesar de avanços consideráveis em alpha matting de imagens naturais nas últimas décadas, video matting ainda continua sendo um problema difícil. Os desafios principais encarados pelos métodos existentes são a grande quantidade de interação do usuário requerida e inconsistências temporais em mattes entre pares de quadros adjacentes. Nesse trabalho, é apresentado um método temporalmente coerente de propagação do canal alfa em vídeos baseado em PatchMatch e filtros de suavização com preservação de arestas. Dado um vídeo de entrada e trimaps para alguns frames, incluindo o primeiro e o último, nossa abordagem gera alpha mattes para todos os quadros da sequência de vídeo. É apresentado, também, uma interface baseada em rabiscos para video matting que se aproveita da eficiência do nosso método para interativamente refinar os resultados. É demonstrada a eficácia da nossa abordagem usando-a para gerar mattes temporalmente coerentes para várias sequências de vídeo. Foi realizada uma comparação quantitativa com o estado da arte em técnicas de video matting que mostra que nosso método produz resultados significativamente melhores de acordo com três métricas diferentes. Além disso, foi realizada uma análise qualitativa contra técnicas de video matting que requerem um trimap por quadro que mostra que nossa técnica produz resultados similares usando apenas 7% da quantidade de interação do usuário requerida pelas outras técnicas. Esses resultados mostram que a técnica proposta é efetiva e fácil de usar superando o estado da arte.
publishDate 2020
dc.date.accessioned.fl_str_mv 2020-07-02T03:36:14Z
dc.date.issued.fl_str_mv 2020
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/211252
dc.identifier.nrb.pt_BR.fl_str_mv 001114941
url http://hdl.handle.net/10183/211252
identifier_str_mv 001114941
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/211252/2/001114941.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/211252/1/001114941.pdf
bitstream.checksum.fl_str_mv 1e67831032445c31d51e87f614e24a79
107b96b91cfa10fed06cf14728bbd0c2
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085524691484672

Registros relacionados