Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/52103 |
Resumo: | Atualmente, os modelos de aprendizagem profunda estão sendo utilizados para solucionar uma grande variedade de problemas. No entanto, esse tipo de algoritmo usualmente necessita de grandes quantidades de dados para alcançar bons desempenhos. Apesar do crescimento da quantidade de dados disponíveis devido à digitalização da informação, essa ainda não é uma realidade para diversos problemas, além da necessidade de um alto custo computacional, dependendo da complexidade envolvida. Nesse sentido, técnicas de transferência de aprendizagem vêm sendo desenvolvidas para superar essa barreira. Algumas técnicas propostas recentemente envolvem utilizar os mapas de ativação a nível de camadas e/ou canais de uma rede pré- treinada, de forma a guiar o treino de uma nova rede. Neste trabalho, é proposto estender essa ideia, incluindo a utilização de informação dos mapas de ativação a nível de pixels, além de canais e camadas, de forma a refinar a transferência de conhecimento, aumentando o desempenho do processo. Nesse sentido, foram realizados testes utilizando os conjuntos de dados CIFAR-10, CIFAR-100 e STL-10, e o método proposto se demonstrou superior a outros métodos da literatura, como o L2T-ww e UFM, em um cenário essencial de quantidade limitada de dados de treinamento. A comparação entre os métodos foi analisada utilizando testes de Mann-Whitney, alcançando-se aumento no método proposto de até 3,75% na acurácia, em um dos cenários, com diferença estatística significativa (p-value < 0,05). |
id |
UFPE_805e413c39c9d5c915807bd8d6691aa5 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/52103 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
NOGUEIRA, Lucas de Limahttp://lattes.cnpq.br/6676010664399258http://lattes.cnpq.br/9643216021359436http://lattes.cnpq.br/1244195230407619PAULA NETO, Fernando Maciano deZANCHETTIN, Cleber2023-08-30T16:53:18Z2023-08-30T16:53:18Z2022-09-12NOGUEIRA, Lucas de Lima. Learning to transfer what, where and which: método de transfer learning entre redes convolucionais de arquiteturas diferentes. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/52103Atualmente, os modelos de aprendizagem profunda estão sendo utilizados para solucionar uma grande variedade de problemas. No entanto, esse tipo de algoritmo usualmente necessita de grandes quantidades de dados para alcançar bons desempenhos. Apesar do crescimento da quantidade de dados disponíveis devido à digitalização da informação, essa ainda não é uma realidade para diversos problemas, além da necessidade de um alto custo computacional, dependendo da complexidade envolvida. Nesse sentido, técnicas de transferência de aprendizagem vêm sendo desenvolvidas para superar essa barreira. Algumas técnicas propostas recentemente envolvem utilizar os mapas de ativação a nível de camadas e/ou canais de uma rede pré- treinada, de forma a guiar o treino de uma nova rede. Neste trabalho, é proposto estender essa ideia, incluindo a utilização de informação dos mapas de ativação a nível de pixels, além de canais e camadas, de forma a refinar a transferência de conhecimento, aumentando o desempenho do processo. Nesse sentido, foram realizados testes utilizando os conjuntos de dados CIFAR-10, CIFAR-100 e STL-10, e o método proposto se demonstrou superior a outros métodos da literatura, como o L2T-ww e UFM, em um cenário essencial de quantidade limitada de dados de treinamento. A comparação entre os métodos foi analisada utilizando testes de Mann-Whitney, alcançando-se aumento no método proposto de até 3,75% na acurácia, em um dos cenários, com diferença estatística significativa (p-value < 0,05).CAPESThe deep learning models are being used to solve a wide variety of problems today. However, this type of algorithm usually needs large amounts of data to reach good performance. Despite the growth of availability of data due to digitalization, this is still not a reality for various problems, beyond the need of high computational cost depending of complexity involved. Due to that, transfer learning techniques have been developed to overcome this barrier. Some recently proposed techniques involve using activation maps at the level of layers and/or channels of a pre-trained network, in order to guide the training of a new network. In this work, we propose to extend this idea, including the use of pixel level information from activation maps, in addition to layers and channels, in order to refine knowledge transfer, improving the performance of process. In this regard, we performed tests in CIFAR-10, CIFAR-100 and STL-10 and the proposed method proved to be superior to other methods from literature, in an essential scenario of limited training data. The comparison between both methods was performed based on Mann- Whitney tests, showing an accuracy increase of up to 3.75% in one of the scenarios, with significative statistical difference (p-value < 0.05).porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalTransfer learningDeep learningAprendizagem de máquinaRedes neurais convolucionaisLearning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETEXTDISSERTAÇÃO Lucas de Lima Nogueira.pdf.txtDISSERTAÇÃO Lucas de Lima Nogueira.pdf.txtExtracted texttext/plain78442https://repositorio.ufpe.br/bitstream/123456789/52103/4/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdf.txtb349cc1723d29493ec16015cf9cc8479MD54THUMBNAILDISSERTAÇÃO Lucas de Lima Nogueira.pdf.jpgDISSERTAÇÃO Lucas de Lima Nogueira.pdf.jpgGenerated Thumbnailimage/jpeg1283https://repositorio.ufpe.br/bitstream/123456789/52103/5/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdf.jpg9732765a36808d4ecc127cbffacf594aMD55ORIGINALDISSERTAÇÃO Lucas de Lima Nogueira.pdfDISSERTAÇÃO Lucas de Lima Nogueira.pdfapplication/pdf3162673https://repositorio.ufpe.br/bitstream/123456789/52103/1/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdfee6f75f23aa99afed0ef51668265faccMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/52103/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/52103/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53123456789/521032023-08-31 02:18:22.985oai:repositorio.ufpe.br:123456789/52103VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212023-08-31T05:18:22Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
title |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
spellingShingle |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes NOGUEIRA, Lucas de Lima Inteligência computacional Transfer learning Deep learning Aprendizagem de máquina Redes neurais convolucionais |
title_short |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
title_full |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
title_fullStr |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
title_full_unstemmed |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
title_sort |
Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes |
author |
NOGUEIRA, Lucas de Lima |
author_facet |
NOGUEIRA, Lucas de Lima |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6676010664399258 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/9643216021359436 |
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1244195230407619 |
dc.contributor.author.fl_str_mv |
NOGUEIRA, Lucas de Lima |
dc.contributor.advisor1.fl_str_mv |
PAULA NETO, Fernando Maciano de |
dc.contributor.advisor-co1.fl_str_mv |
ZANCHETTIN, Cleber |
contributor_str_mv |
PAULA NETO, Fernando Maciano de ZANCHETTIN, Cleber |
dc.subject.por.fl_str_mv |
Inteligência computacional Transfer learning Deep learning Aprendizagem de máquina Redes neurais convolucionais |
topic |
Inteligência computacional Transfer learning Deep learning Aprendizagem de máquina Redes neurais convolucionais |
description |
Atualmente, os modelos de aprendizagem profunda estão sendo utilizados para solucionar uma grande variedade de problemas. No entanto, esse tipo de algoritmo usualmente necessita de grandes quantidades de dados para alcançar bons desempenhos. Apesar do crescimento da quantidade de dados disponíveis devido à digitalização da informação, essa ainda não é uma realidade para diversos problemas, além da necessidade de um alto custo computacional, dependendo da complexidade envolvida. Nesse sentido, técnicas de transferência de aprendizagem vêm sendo desenvolvidas para superar essa barreira. Algumas técnicas propostas recentemente envolvem utilizar os mapas de ativação a nível de camadas e/ou canais de uma rede pré- treinada, de forma a guiar o treino de uma nova rede. Neste trabalho, é proposto estender essa ideia, incluindo a utilização de informação dos mapas de ativação a nível de pixels, além de canais e camadas, de forma a refinar a transferência de conhecimento, aumentando o desempenho do processo. Nesse sentido, foram realizados testes utilizando os conjuntos de dados CIFAR-10, CIFAR-100 e STL-10, e o método proposto se demonstrou superior a outros métodos da literatura, como o L2T-ww e UFM, em um cenário essencial de quantidade limitada de dados de treinamento. A comparação entre os métodos foi analisada utilizando testes de Mann-Whitney, alcançando-se aumento no método proposto de até 3,75% na acurácia, em um dos cenários, com diferença estatística significativa (p-value < 0,05). |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022-09-12 |
dc.date.accessioned.fl_str_mv |
2023-08-30T16:53:18Z |
dc.date.available.fl_str_mv |
2023-08-30T16:53:18Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
NOGUEIRA, Lucas de Lima. Learning to transfer what, where and which: método de transfer learning entre redes convolucionais de arquiteturas diferentes. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/52103 |
identifier_str_mv |
NOGUEIRA, Lucas de Lima. Learning to transfer what, where and which: método de transfer learning entre redes convolucionais de arquiteturas diferentes. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
url |
https://repositorio.ufpe.br/handle/123456789/52103 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/52103/4/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/52103/5/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/52103/1/DISSERTA%c3%87%c3%83O%20Lucas%20de%20Lima%20Nogueira.pdf https://repositorio.ufpe.br/bitstream/123456789/52103/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/52103/3/license.txt |
bitstream.checksum.fl_str_mv |
b349cc1723d29493ec16015cf9cc8479 9732765a36808d4ecc127cbffacf594a ee6f75f23aa99afed0ef51668265facc e39d27027a6cc9cb039ad269a5db8e34 5e89a1613ddc8510c6576f4b23a78973 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310819269050368 |