Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos

Detalhes bibliográficos
Autor(a) principal: Chaves, Hugo Aparecido de Lima França
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFJF
Texto Completo: https://repositorio.ufjf.br/jspui/handle/ufjf/10957
Resumo: Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte.
id UFJF_b7a9e487a3bd961b7a7842a0f4a0713e
oai_identifier_str oai:hermes.cpd.ufjf.br:ufjf/10957
network_acronym_str UFJF
network_name_str Repositório Institucional da UFJF
repository_id_str
spelling Vieira, Marcelo Bernardeshttp://lattes.cnpq.br/Cerqueira, Augusto SantiagoVillela, Saulo MoraesPedrini, Héliohttp://lattes.cnpq.br/Chaves, Hugo Aparecido de Lima França2019-09-26T15:54:39Z2019-09-192019-09-26T15:54:39Z2019-06-03https://repositorio.ufjf.br/jspui/handle/ufjf/10957Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte.In recent years, the advancement of Deep Learning has revolutionized many areas in Computer Vision, including Visual Object Tracking. A particular type of deep neural network, the Siamese Neural Network, brought the attention of Visual Object Tracking community. This neural network has a relatively low computational cost, and high e - cacy framework used to compare the similarity between objects. Nowadays, the scienti c community achieved remarkable success applying such frameworks in the tracking problem. However, the limitations this neural network impact negatively in its performance. We overcome this problem by obtaining a new descriptor for the reference object combining past descriptors outputted from the tracker. Speci cally, we propose a combination of the signal of descriptors in long and short term memory blocks, which represent the rst and the recent appearance of the object, respectively. A nal descriptor is composed of such memory blocks, and the tracker uses it as a reference. In particular, this work emphasized in the obtention of a method to compute an optimized lter bank through the usage of a genetic algorithm. The lter bank is then used to compute the short term memory output. According to experiments performed in the widely used OTB dataset, our proposal improves the baseline performance. The improvements for the area under the curve metrics are 7.4% and 3.0%, for precision and success plots, respectively, being comparable to the state-of-the-art methods.engUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Ciência da ComputaçãoUFJFBrasilICE – Instituto de Ciências Exatashttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAORastreamentoRedes SiamesasDescritos profundosTrackingSiamese networkDeep descriptorsFilter learning from deep descriptors of fully convolutional siamese network for tracking in videosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALhugoaparecidodelimafrancachaves.pdfhugoaparecidodelimafrancachaves.pdfapplication/pdf5548298https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/1/hugoaparecidodelimafrancachaves.pdfb54c3df05920048ac1b33a1cf6e6d8c2MD51CC-LICENSETEXThugoaparecidodelimafrancachaves.pdf.txthugoaparecidodelimafrancachaves.pdf.txtExtracted texttext/plain130090https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/3/hugoaparecidodelimafrancachaves.pdf.txt96674acbab6272b3e31530bda9917311MD53THUMBNAILhugoaparecidodelimafrancachaves.pdf.jpghugoaparecidodelimafrancachaves.pdf.jpgGenerated Thumbnailimage/jpeg1255https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/4/hugoaparecidodelimafrancachaves.pdf.jpgcd9cca1fa66fe0b6f4f3b86d8f9175bdMD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52ufjf/109572019-09-27 03:06:49.289oai:hermes.cpd.ufjf.br:ufjf/10957Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2019-09-27T06:06:49Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false
dc.title.pt_BR.fl_str_mv Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
title Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
spellingShingle Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
Chaves, Hugo Aparecido de Lima França
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Rastreamento
Redes Siamesas
Descritos profundos
Tracking
Siamese network
Deep descriptors
title_short Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
title_full Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
title_fullStr Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
title_full_unstemmed Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
title_sort Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
author Chaves, Hugo Aparecido de Lima França
author_facet Chaves, Hugo Aparecido de Lima França
author_role author
dc.contributor.advisor1.fl_str_mv Vieira, Marcelo Bernardes
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/
dc.contributor.advisor-co1.fl_str_mv Cerqueira, Augusto Santiago
dc.contributor.referee1.fl_str_mv Villela, Saulo Moraes
dc.contributor.referee2.fl_str_mv Pedrini, Hélio
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/
dc.contributor.author.fl_str_mv Chaves, Hugo Aparecido de Lima França
contributor_str_mv Vieira, Marcelo Bernardes
Cerqueira, Augusto Santiago
Villela, Saulo Moraes
Pedrini, Hélio
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Rastreamento
Redes Siamesas
Descritos profundos
Tracking
Siamese network
Deep descriptors
dc.subject.por.fl_str_mv Rastreamento
Redes Siamesas
Descritos profundos
Tracking
Siamese network
Deep descriptors
description Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte.
publishDate 2019
dc.date.accessioned.fl_str_mv 2019-09-26T15:54:39Z
dc.date.available.fl_str_mv 2019-09-19
2019-09-26T15:54:39Z
dc.date.issued.fl_str_mv 2019-06-03
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufjf.br/jspui/handle/ufjf/10957
url https://repositorio.ufjf.br/jspui/handle/ufjf/10957
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.publisher.program.fl_str_mv Programa de Pós-graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv UFJF
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv ICE – Instituto de Ciências Exatas
publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFJF
instname:Universidade Federal de Juiz de Fora (UFJF)
instacron:UFJF
instname_str Universidade Federal de Juiz de Fora (UFJF)
instacron_str UFJF
institution UFJF
reponame_str Repositório Institucional da UFJF
collection Repositório Institucional da UFJF
bitstream.url.fl_str_mv https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/1/hugoaparecidodelimafrancachaves.pdf
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/3/hugoaparecidodelimafrancachaves.pdf.txt
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/4/hugoaparecidodelimafrancachaves.pdf.jpg
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/2/license.txt
bitstream.checksum.fl_str_mv b54c3df05920048ac1b33a1cf6e6d8c2
96674acbab6272b3e31530bda9917311
cd9cca1fa66fe0b6f4f3b86d8f9175bd
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)
repository.mail.fl_str_mv
_version_ 1813193875089522688