Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
Texto Completo: | http://repositorio.utfpr.edu.br/jspui/handle/1/30178 |
Resumo: | A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original. |
id |
UTFPR-12_14781327da66508ecf0a7985920af3b8 |
---|---|
oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/30178 |
network_acronym_str |
UTFPR-12 |
network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
repository_id_str |
|
spelling |
2022-11-24T23:43:28Z2022-11-24T23:43:28Z2021-02-26SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021.http://repositorio.utfpr.edu.br/jspui/handle/1/30178A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original.Evaluating a change detection algorithm must show the superiority of its performance concerning state-of-the-art algorithms’ performance. The steps of evaluating an algorithm comprise executing it to segment a set of videos from a dataset and comparing the results with ground truth. In this work, we propose using additional information in evaluating change detection algorithms: the level of difficulty to classify each pixel of each frame of the videos from a dataset. For each video frame, we created a structured called difficulty map, which stores values representing the level of difficulty required by an algorithm to classify each pixel of that frame. Based on the difficulty maps, we developed two metrics. The first aims to evaluate the performance of algorithms about the difficulty map. The second metric aims to estimate the level of difficulty that each dataset video requires from the algorithms to classify its frames’ pixels. In this work, we also developed a method for selecting representative videos based on their difficulty level. The evaluation algorithms’ results showed that the algorithms that represent the state-of-the-art fail in the same regions of the frame. The metric that estimates video difficulty levels has been demonstrated that many videos from dataset CDNet 2014 have similar difficulty levels. This finding corroborates the method’s results to generate a representative subset since the selected subset has fewer videos and has the same evaluation potential as the original video set.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)porUniversidade Tecnológica Federal do ParanáCornelio ProcopioPrograma de Pós-Graduação em InformáticaUTFPRBrasilCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoDetectoresAlgoritmosClassificaçãoDetectorsAlgorithmsClassificationAvaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldadeEvaluation of datasets and change detection algorithms using difficulty mapsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisCornélio ProcópioSanches, Silvio Ricardo Rodrigueshttps://orcid.org/0000-0003-3635-7477http://lattes.cnpq.br/9931293076574399Yokoyama, Roberto Sadaohttp://lattes.cnpq.br/0306982791711079Sementille, Antonio Carloshttps://orcid.org/0000-0002-4337-514Xhttp://lattes.cnpq.br/1882712230914196Oliveira, Claiton dehttps://orcid.org/0000-0003-2953-6223http://lattes.cnpq.br/8851289265109891Corrêa, Cléber Gimenezhttps://orcid.org/0000-0003-1065-9565http://lattes.cnpq.br/0521761025000380Sanches, Danilo Sipolihttps://orcid.org/0000-0002-8972-5221http://lattes.cnpq.br/6377657274398145Yokoyama, Roberto Sadaohttp://lattes.cnpq.br/0306982791711079xxSilva, Claudinei Moreira dainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALavaliacaomapasdificuldade.pdfapplication/pdf1455618http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/1/avaliacaomapasdificuldade.pdfd8dbf037129bed44fa6ab05c14ef067bMD51avaliacaomapasdificuldade.pdfapplication/pdf1455618http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/2/avaliacaomapasdificuldade.pdfd8dbf037129bed44fa6ab05c14ef067bMD52TEXTavaliacaomapasdificuldade.pdf.txtavaliacaomapasdificuldade.pdf.txtExtracted texttext/plain92163http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/3/avaliacaomapasdificuldade.pdf.txt2b120894f32f728b8f4981ddd8697539MD53THUMBNAILavaliacaomapasdificuldade.pdf.jpgavaliacaomapasdificuldade.pdf.jpgGenerated Thumbnailimage/jpeg1596http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/4/avaliacaomapasdificuldade.pdf.jpg48f0a1c2fe8ccc0477fd5af0ae553f70MD541/301782022-11-25 04:06:01.218oai:repositorio.utfpr.edu.br:1/30178Repositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2022-11-25T06:06:01Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
dc.title.pt_BR.fl_str_mv |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
dc.title.alternative.pt_BR.fl_str_mv |
Evaluation of datasets and change detection algorithms using difficulty maps |
title |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
spellingShingle |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade Silva, Claudinei Moreira da CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Detectores Algoritmos Classificação Detectors Algorithms Classification Ciência da Computação |
title_short |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
title_full |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
title_fullStr |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
title_full_unstemmed |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
title_sort |
Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade |
author |
Silva, Claudinei Moreira da |
author_facet |
Silva, Claudinei Moreira da |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Sanches, Silvio Ricardo Rodrigues |
dc.contributor.advisor1ID.fl_str_mv |
https://orcid.org/0000-0003-3635-7477 |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/9931293076574399 |
dc.contributor.advisor-co1.fl_str_mv |
Yokoyama, Roberto Sadao |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/0306982791711079 |
dc.contributor.referee1.fl_str_mv |
Sementille, Antonio Carlos |
dc.contributor.referee1ID.fl_str_mv |
https://orcid.org/0000-0002-4337-514X |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/1882712230914196 |
dc.contributor.referee2.fl_str_mv |
Oliveira, Claiton de |
dc.contributor.referee2ID.fl_str_mv |
https://orcid.org/0000-0003-2953-6223 |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/8851289265109891 |
dc.contributor.referee3.fl_str_mv |
Corrêa, Cléber Gimenez |
dc.contributor.referee3ID.fl_str_mv |
https://orcid.org/0000-0003-1065-9565 |
dc.contributor.referee3Lattes.fl_str_mv |
http://lattes.cnpq.br/0521761025000380 |
dc.contributor.referee4.fl_str_mv |
Sanches, Danilo Sipoli |
dc.contributor.referee4ID.fl_str_mv |
https://orcid.org/0000-0002-8972-5221 |
dc.contributor.referee4Lattes.fl_str_mv |
http://lattes.cnpq.br/6377657274398145 |
dc.contributor.referee5.fl_str_mv |
Yokoyama, Roberto Sadao |
dc.contributor.referee5Lattes.fl_str_mv |
http://lattes.cnpq.br/0306982791711079 |
dc.contributor.authorLattes.fl_str_mv |
xx |
dc.contributor.author.fl_str_mv |
Silva, Claudinei Moreira da |
contributor_str_mv |
Sanches, Silvio Ricardo Rodrigues Yokoyama, Roberto Sadao Sementille, Antonio Carlos Oliveira, Claiton de Corrêa, Cléber Gimenez Sanches, Danilo Sipoli Yokoyama, Roberto Sadao |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Detectores Algoritmos Classificação Detectors Algorithms Classification Ciência da Computação |
dc.subject.por.fl_str_mv |
Detectores Algoritmos Classificação Detectors Algorithms Classification |
dc.subject.capes.pt_BR.fl_str_mv |
Ciência da Computação |
description |
A avaliação de um algoritmo de detecção de mudança deve mostrar a superioridade do seu desempenho em relação aos desempenhos dos algoritmos do estado-da-arte. As etapas da avaliação de um algoritmo consiste basicamente na sua execução para segmentar um conjunto de vídeos de um dataset e na comparação dos resultados com um ground truth. Neste trabalho, propõe-se a utilização de uma nova informação no processo de avaliação de algoritmos de detecção de mudança: o nível de dificuldade para classificar cada pixel de cada quadro dos vídeos de um dataset. Para cada quadro de vídeo, foi criado uma estruturada chamada mapa de dificuldade, que armazena valores que representam o nível de dificuldade exigido de um algoritmo para classificar cada pixel desse quadro. Baseado nesses mapas, foram desenvolvidas uma métrica que tem como objetivo avaliar o desempenho de algoritmos em relação ao mapa de dificuldade e outra que tem como objetivo estimar o nível de dificuldade que cada vídeo do dataset exige dos algoritmos para classificar os pixels de seus quadros. Um método para selecionar os vídeos representativos de um dataset também foi desenvolvido neste trabalho. Os resultados da aplicação da métrica para avaliação de algoritmos mostraram que os algoritmos que representam o estado-da-arte normalmente falham nas mesmas regiões do quadro. A aplicação da métrica que estima níveis de dificuldade de vídeos mostrou que muitos vídeos do dataset CDNet 2014 possuem níveis de dificuldade similares. Essa constatação corrobora com os resultados obtidos da aplicação do método para gerar um subconjunto representativo, uma vez que o subconjunto selecionado possui menos vídeos e apresenta o mesmo potencial de avaliação do conjunto de vídeos original. |
publishDate |
2021 |
dc.date.issued.fl_str_mv |
2021-02-26 |
dc.date.accessioned.fl_str_mv |
2022-11-24T23:43:28Z |
dc.date.available.fl_str_mv |
2022-11-24T23:43:28Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021. |
dc.identifier.uri.fl_str_mv |
http://repositorio.utfpr.edu.br/jspui/handle/1/30178 |
identifier_str_mv |
SILVA, Claudinei Moreira da. Avaliação de datasets e de algoritmos de detecção de mudança utilizando mapas de dificuldade. 2021. Dissertação (Mestrado em Informática) - Universidade Tecnológica Federal do Paraná, Cornélio Procópio, 2021. |
url |
http://repositorio.utfpr.edu.br/jspui/handle/1/30178 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Cornelio Procopio |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Informática |
dc.publisher.initials.fl_str_mv |
UTFPR |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Cornelio Procopio |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
instacron_str |
UTFPR |
institution |
UTFPR |
reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
bitstream.url.fl_str_mv |
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/1/avaliacaomapasdificuldade.pdf http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/2/avaliacaomapasdificuldade.pdf http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/3/avaliacaomapasdificuldade.pdf.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/30178/4/avaliacaomapasdificuldade.pdf.jpg |
bitstream.checksum.fl_str_mv |
d8dbf037129bed44fa6ab05c14ef067b d8dbf037129bed44fa6ab05c14ef067b 2b120894f32f728b8f4981ddd8697539 48f0a1c2fe8ccc0477fd5af0ae553f70 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
repository.mail.fl_str_mv |
|
_version_ |
1797044011023728640 |