Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFJF |
Texto Completo: | https://repositorio.ufjf.br/jspui/handle/ufjf/10957 |
Resumo: | Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte. |
id |
UFJF_b7a9e487a3bd961b7a7842a0f4a0713e |
---|---|
oai_identifier_str |
oai:hermes.cpd.ufjf.br:ufjf/10957 |
network_acronym_str |
UFJF |
network_name_str |
Repositório Institucional da UFJF |
repository_id_str |
|
spelling |
Vieira, Marcelo Bernardeshttp://lattes.cnpq.br/Cerqueira, Augusto SantiagoVillela, Saulo MoraesPedrini, Héliohttp://lattes.cnpq.br/Chaves, Hugo Aparecido de Lima França2019-09-26T15:54:39Z2019-09-192019-09-26T15:54:39Z2019-06-03https://repositorio.ufjf.br/jspui/handle/ufjf/10957Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte.In recent years, the advancement of Deep Learning has revolutionized many areas in Computer Vision, including Visual Object Tracking. A particular type of deep neural network, the Siamese Neural Network, brought the attention of Visual Object Tracking community. This neural network has a relatively low computational cost, and high e - cacy framework used to compare the similarity between objects. Nowadays, the scienti c community achieved remarkable success applying such frameworks in the tracking problem. However, the limitations this neural network impact negatively in its performance. We overcome this problem by obtaining a new descriptor for the reference object combining past descriptors outputted from the tracker. Speci cally, we propose a combination of the signal of descriptors in long and short term memory blocks, which represent the rst and the recent appearance of the object, respectively. A nal descriptor is composed of such memory blocks, and the tracker uses it as a reference. In particular, this work emphasized in the obtention of a method to compute an optimized lter bank through the usage of a genetic algorithm. The lter bank is then used to compute the short term memory output. According to experiments performed in the widely used OTB dataset, our proposal improves the baseline performance. The improvements for the area under the curve metrics are 7.4% and 3.0%, for precision and success plots, respectively, being comparable to the state-of-the-art methods.engUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Ciência da ComputaçãoUFJFBrasilICE – Instituto de Ciências Exatashttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAORastreamentoRedes SiamesasDescritos profundosTrackingSiamese networkDeep descriptorsFilter learning from deep descriptors of fully convolutional siamese network for tracking in videosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALhugoaparecidodelimafrancachaves.pdfhugoaparecidodelimafrancachaves.pdfapplication/pdf5548298https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/1/hugoaparecidodelimafrancachaves.pdfb54c3df05920048ac1b33a1cf6e6d8c2MD51CC-LICENSETEXThugoaparecidodelimafrancachaves.pdf.txthugoaparecidodelimafrancachaves.pdf.txtExtracted texttext/plain130090https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/3/hugoaparecidodelimafrancachaves.pdf.txt96674acbab6272b3e31530bda9917311MD53THUMBNAILhugoaparecidodelimafrancachaves.pdf.jpghugoaparecidodelimafrancachaves.pdf.jpgGenerated Thumbnailimage/jpeg1255https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/4/hugoaparecidodelimafrancachaves.pdf.jpgcd9cca1fa66fe0b6f4f3b86d8f9175bdMD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52ufjf/109572019-09-27 03:06:49.289oai:hermes.cpd.ufjf.br:ufjf/10957Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2019-09-27T06:06:49Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false |
dc.title.pt_BR.fl_str_mv |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
title |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
spellingShingle |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos Chaves, Hugo Aparecido de Lima França CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Rastreamento Redes Siamesas Descritos profundos Tracking Siamese network Deep descriptors |
title_short |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
title_full |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
title_fullStr |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
title_full_unstemmed |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
title_sort |
Filter learning from deep descriptors of fully convolutional siamese network for tracking in videos |
author |
Chaves, Hugo Aparecido de Lima França |
author_facet |
Chaves, Hugo Aparecido de Lima França |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Vieira, Marcelo Bernardes |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/ |
dc.contributor.advisor-co1.fl_str_mv |
Cerqueira, Augusto Santiago |
dc.contributor.referee1.fl_str_mv |
Villela, Saulo Moraes |
dc.contributor.referee2.fl_str_mv |
Pedrini, Hélio |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/ |
dc.contributor.author.fl_str_mv |
Chaves, Hugo Aparecido de Lima França |
contributor_str_mv |
Vieira, Marcelo Bernardes Cerqueira, Augusto Santiago Villela, Saulo Moraes Pedrini, Hélio |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Rastreamento Redes Siamesas Descritos profundos Tracking Siamese network Deep descriptors |
dc.subject.por.fl_str_mv |
Rastreamento Redes Siamesas Descritos profundos Tracking Siamese network Deep descriptors |
description |
Nos ultimos anos, os avancos em Aprendizado Profundo revolucionaram diversas sub- areas da Visao Computacional, incluindo o Rastreamento de Objetos Visuais. Um tipo especial de rede neural profunda, a Rede Neural Siamesa, chamou a atencao da comunidade especializada em rastreamento. Ela possui baixo custo computacional e alta efi cacia para comparar a similaridade entre objetos. Atualmente, a comunidade cienti ca atingiu resultados notaveis ao aplicar tais redes ao problema de Rastreamento de Objetos Visuais. No entanto, observou-se que limitacoes dessa rede neural impactam negativamente no rastreamento. Superou-se o problema ao se obter um novo descritor para referencia do objeto combinando descritores passados fornecidos pelo rastreador. Em particular, foi proposto a combinacao de sinal de descritores em blocos de memorias de longo e de curto prazo, os quais representam a primeira e a mais recente aparencia do objeto, respectivamente. Um descritor nal e gerado a partir desses blocos de memoria, o qual o rastreador usa como referencia. Este trabalho enfatizou-se na obtencao de um metodo para calcular um banco de ltros otimizado atraves do uso de um algoritmo genetico. O banco de ltros e utilizado entao para gerar a saida da memoria de curto prazo. De acordo com experimentos realizados na base de dados OTB, esta proposta apresenta ganhos em comparacao com a proposta original da SiamFC. Considerando a metrica area abaixo da curva, ha ganhos de 7.4% e 3.0% para os gra cos de precisao e sucesso, respectivamente, tornando este trabalho comparavel a metodos do estato da arte. |
publishDate |
2019 |
dc.date.accessioned.fl_str_mv |
2019-09-26T15:54:39Z |
dc.date.available.fl_str_mv |
2019-09-19 2019-09-26T15:54:39Z |
dc.date.issued.fl_str_mv |
2019-06-03 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufjf.br/jspui/handle/ufjf/10957 |
url |
https://repositorio.ufjf.br/jspui/handle/ufjf/10957 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.publisher.program.fl_str_mv |
Programa de Pós-graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFJF |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ICE – Instituto de Ciências Exatas |
publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFJF instname:Universidade Federal de Juiz de Fora (UFJF) instacron:UFJF |
instname_str |
Universidade Federal de Juiz de Fora (UFJF) |
instacron_str |
UFJF |
institution |
UFJF |
reponame_str |
Repositório Institucional da UFJF |
collection |
Repositório Institucional da UFJF |
bitstream.url.fl_str_mv |
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/1/hugoaparecidodelimafrancachaves.pdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/3/hugoaparecidodelimafrancachaves.pdf.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/4/hugoaparecidodelimafrancachaves.pdf.jpg https://repositorio.ufjf.br/jspui/bitstream/ufjf/10957/2/license.txt |
bitstream.checksum.fl_str_mv |
b54c3df05920048ac1b33a1cf6e6d8c2 96674acbab6272b3e31530bda9917311 cd9cca1fa66fe0b6f4f3b86d8f9175bd 8a4605be74aa9ea9d79846c1fba20a33 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF) |
repository.mail.fl_str_mv |
|
_version_ |
1813193875089522688 |