Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade

Detalhes bibliográficos
Autor(a) principal: Silva, Claudinei Moreira da
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/30178
Resumo: A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original.
id UTFPR-12_14781327da66508ecf0a7985920af3b8
oai_identifier_str oai:repositorio.utfpr.edu.br:1/30178
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2022-11-24T23:43:28Z2022-11-24T23:43:28Z2021-02-26SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/30178A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original.Evaluating a change detection algorithm must show the superiority of its performance concerning state-of-the-art algorithms’ performance. The steps of evaluating an algorithm comprise executing it to segment a set of videos from a dataset and comparing the results with ground truth. In this work, we propose using additional information in evaluating change detection algorithms: the level of difficulty to classify each pixel of each frame of the videos from a dataset. For each video frame, we created a structured called difficulty map, which stores values representing the level of difficulty required by an algorithm to classify each pixel of that frame. Based on the difficulty maps, we developed two metrics. The first aims to evaluate the performance of algorithms about the difficulty map. The second metric aims to estimate the level of difficulty that each dataset video requires from the algorithms to classify its frames’ pixels. In this work, we also developed a method for selecting representative videos based on their difficulty level. The evaluation algorithms’ results showed that the algorithms that represent the state-of-the-art fail in the same regions of the frame. The metric that estimates video difficulty levels has been demonstrated that many videos from dataset CDNet 2014 have similar difficulty levels. This finding corroborates the method’s results to generate a representative subset since the selected subset has fewer videos and has the same evaluation potential as the original video set.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)porUniversidade Tecnológica Federal do ParanáCornelio ProcopioPrograma de Pós-Graduação em InformáticaUTFPRBrasilCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoDetectoresAlgoritmosClassificaçãoDetectorsAlgorithmsClassificationAvaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldadeEvaluation of datasets and change detection algorithms using difficulty mapsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisCornélio ProcópioSanches, Silvio Ricardo Rodrigueshttps://orcid.org/0000-0003-3635-7477http://lattes.cnpq.br/9931293076574399Yokoyama, Roberto Sadaohttp://lattes.cnpq.br/0306982791711079Sementille, Antonio Carloshttps://orcid.org/0000-0002-4337-514Xhttp://lattes.cnpq.br/1882712230914196Oliveira, Claiton dehttps://orcid.org/0000-0003-2953-6223http://lattes.cnpq.br/8851289265109891Corrêa, Cléber Gimenezhttps://orcid.org/0000-0003-1065-9565http://lattes.cnpq.br/0521761025000380Sanches, Danilo Sipolihttps://orcid.org/0000-0002-8972-5221http://lattes.cnpq.br/6377657274398145Yokoyama, Roberto Sadaohttp://lattes.cnpq.br/0306982791711079xxSilva, Claudinei Moreira dainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALavaliacaomapasdificuldade.pdfapplication/pdf1455618http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/1/avaliacaomapasdificuldade.pdfd8dbf037129bed44fa6ab05c14ef067bMD51avaliacaomapasdificuldade.pdfapplication/pdf1455618http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/2/avaliacaomapasdificuldade.pdfd8dbf037129bed44fa6ab05c14ef067bMD52TEXTavaliacaomapasdificuldade.pdf.txtavaliacaomapasdificuldade.pdf.txtExtracted texttext/plain92163http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/3/avaliacaomapasdificuldade.pdf.txt2b120894f32f728b8f4981ddd8697539MD53THUMBNAILavaliacaomapasdificuldade.pdf.jpgavaliacaomapasdificuldade.pdf.jpgGenerated Thumbnailimage/jpeg1596http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/4/avaliacaomapasdificuldade.pdf.jpg48f0a1c2fe8ccc0477fd5af0ae553f70MD541/301782022-11-25 04:06:01.218oai:repositorio.utfpr.edu.br:1/30178Repositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2022-11-25T06:06:01Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
dc.title.alternative.pt_BR.fl_str_mv Evaluation of datasets and change detection algorithms using difficulty maps
title Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
spellingShingle Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
Silva, Claudinei Moreira da
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Detectores
Algoritmos
Classificação
Detectors
Algorithms
Classification
Ciência da Computação
title_short Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
title_full Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
title_fullStr Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
title_full_unstemmed Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
title_sort Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
author Silva, Claudinei Moreira da
author_facet Silva, Claudinei Moreira da
author_role author
dc.contributor.advisor1.fl_str_mv Sanches, Silvio Ricardo Rodrigues
dc.contributor.advisor1ID.fl_str_mv https://orcid.org/0000-0003-3635-7477
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/9931293076574399
dc.contributor.advisor-co1.fl_str_mv Yokoyama, Roberto Sadao
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/0306982791711079
dc.contributor.referee1.fl_str_mv Sementille, Antonio Carlos
dc.contributor.referee1ID.fl_str_mv https://orcid.org/0000-0002-4337-514X
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/1882712230914196
dc.contributor.referee2.fl_str_mv Oliveira, Claiton de
dc.contributor.referee2ID.fl_str_mv https://orcid.org/0000-0003-2953-6223
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/8851289265109891
dc.contributor.referee3.fl_str_mv Corrêa, Cléber Gimenez
dc.contributor.referee3ID.fl_str_mv https://orcid.org/0000-0003-1065-9565
dc.contributor.referee3Lattes.fl_str_mv http://lattes.cnpq.br/0521761025000380
dc.contributor.referee4.fl_str_mv Sanches, Danilo Sipoli
dc.contributor.referee4ID.fl_str_mv https://orcid.org/0000-0002-8972-5221
dc.contributor.referee4Lattes.fl_str_mv http://lattes.cnpq.br/6377657274398145
dc.contributor.referee5.fl_str_mv Yokoyama, Roberto Sadao
dc.contributor.referee5Lattes.fl_str_mv http://lattes.cnpq.br/0306982791711079
dc.contributor.authorLattes.fl_str_mv xx
dc.contributor.author.fl_str_mv Silva, Claudinei Moreira da
contributor_str_mv Sanches, Silvio Ricardo Rodrigues
Yokoyama, Roberto Sadao
Sementille, Antonio Carlos
Oliveira, Claiton de
Corrêa, Cléber Gimenez
Sanches, Danilo Sipoli
Yokoyama, Roberto Sadao
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Detectores
Algoritmos
Classificação
Detectors
Algorithms
Classification
Ciência da Computação
dc.subject.por.fl_str_mv Detectores
Algoritmos
Classificação
Detectors
Algorithms
Classification
dc.subject.capes.pt_BR.fl_str_mv Ciência da Computação
description A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original.
publishDate 2021
dc.date.issued.fl_str_mv 2021-02-26
dc.date.accessioned.fl_str_mv 2022-11-24T23:43:28Z
dc.date.available.fl_str_mv 2022-11-24T23:43:28Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/30178
identifier_str_mv SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021.
url http://repositorio.utfpr.edu.br/jspui/handle/1/30178
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Cornelio Procopio
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Informática
dc.publisher.initials.fl_str_mv UTFPR
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Cornelio Procopio
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/1/avaliacaomapasdificuldade.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/2/avaliacaomapasdificuldade.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/3/avaliacaomapasdificuldade.pdf.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/4/avaliacaomapasdificuldade.pdf.jpg
bitstream.checksum.fl_str_mv d8dbf037129bed44fa6ab05c14ef067b
d8dbf037129bed44fa6ab05c14ef067b
2b120894f32f728b8f4981ddd8697539
48f0a1c2fe8ccc0477fd5af0ae553f70
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1797044011023728640