Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
dARK ID: | ark:/64986/001300000r8s0 |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/39222 |
Resumo: | Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100. |
id |
UFPE_15a197862188a13d0e904936f57d3dd3 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/39222 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
SOUZA, Camila Oliveira dehttp://lattes.cnpq.br/7167327975710103http://lattes.cnpq.br/1244195230407619ZANCHETTIN, Cleber2021-02-17T12:06:18Z2021-02-17T12:06:18Z2020-02-14SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.https://repositorio.ufpe.br/handle/123456789/39222ark:/64986/001300000r8s0Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100.Great advances have been made in models based on Convolutional Neural Networks. Considering image processing problems, these models already outperform humans in some cases. Despite the excellent results in this area, models with extremely high accuracy rates are, in general, very large, reaching hundreds of millions of parameters, which makes them unfeasible for several real-world applications, where the computational power available is usually quite limited. In this context, we investigated the possible reduction in the number of parameters of the SqueezeNet network, which aims to be an architecture with reduced size and good accuracy, caused by the replacement of its traditional convolutions by Depthwise Separable Convolutions (DSC), as well as the impact of this replacement on other model analysis metrics. The metrics analyzed are the accuracy, the number of parameters, the storage size and the inference time of a single test example. The resulting network, called SqueezeNet-DSC, is then applied to the image classification problem, and its performance is compared to other networks that are a reference in the area, such as MobileNet, AlexNet and VGG19. SqueezeNet-DSC showed a considerable reduction in storage space, reaching 37% of the storage space of the original SqueezeNet, with a loss of accuracy of 1.07% on the CIFAR-10 base and 3.06% on CIFAR-100 database.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalAprendizagem de máquinaUsando convolução separável em profundidade na otimização da arquitetura SqueezeNetinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Camila Oliveira de Souza.pdfDISSERTAÇÃO Camila Oliveira de Souza.pdfapplication/pdf2461435https://repositorio.ufpe.br/bitstream/123456789/39222/1/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf89bc283596122fe81d0cab1ea585edfcMD51TEXTDISSERTAÇÃO Camila Oliveira de Souza.pdf.txtDISSERTAÇÃO Camila Oliveira de Souza.pdf.txtExtracted texttext/plain138406https://repositorio.ufpe.br/bitstream/123456789/39222/6/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.txta24da3640d37c9b5841a439ff072a22eMD56THUMBNAILDISSERTAÇÃO Camila Oliveira de Souza.pdf.jpgDISSERTAÇÃO Camila Oliveira de Souza.pdf.jpgGenerated Thumbnailimage/jpeg1247https://repositorio.ufpe.br/bitstream/123456789/39222/7/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.jpgb1364288de1c4f4371180f93f7a5a7fcMD57CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/39222/4/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82310https://repositorio.ufpe.br/bitstream/123456789/39222/5/license.txtbd573a5ca8288eb7272482765f819534MD55123456789/392222021-02-18 02:15:50.933oai:repositorio.ufpe.br:123456789/39222TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLCBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91IGFjb3Jkby4KCkEgVUZQRSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBub21lKHMpIGRvKHMpIGF1dG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50byBlbnRyZWd1ZSBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZG8gcHJldmlzdG8gbmEgYWzDrW5lYSBjKS4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212021-02-18T05:15:50Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
title |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
spellingShingle |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet SOUZA, Camila Oliveira de Inteligência computacional Aprendizagem de máquina |
title_short |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
title_full |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
title_fullStr |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
title_full_unstemmed |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
title_sort |
Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet |
author |
SOUZA, Camila Oliveira de |
author_facet |
SOUZA, Camila Oliveira de |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/7167327975710103 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1244195230407619 |
dc.contributor.author.fl_str_mv |
SOUZA, Camila Oliveira de |
dc.contributor.advisor1.fl_str_mv |
ZANCHETTIN, Cleber |
contributor_str_mv |
ZANCHETTIN, Cleber |
dc.subject.por.fl_str_mv |
Inteligência computacional Aprendizagem de máquina |
topic |
Inteligência computacional Aprendizagem de máquina |
description |
Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100. |
publishDate |
2020 |
dc.date.issued.fl_str_mv |
2020-02-14 |
dc.date.accessioned.fl_str_mv |
2021-02-17T12:06:18Z |
dc.date.available.fl_str_mv |
2021-02-17T12:06:18Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/39222 |
dc.identifier.dark.fl_str_mv |
ark:/64986/001300000r8s0 |
identifier_str_mv |
SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020. ark:/64986/001300000r8s0 |
url |
https://repositorio.ufpe.br/handle/123456789/39222 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/39222/1/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf https://repositorio.ufpe.br/bitstream/123456789/39222/6/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/39222/7/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/39222/4/license_rdf https://repositorio.ufpe.br/bitstream/123456789/39222/5/license.txt |
bitstream.checksum.fl_str_mv |
89bc283596122fe81d0cab1ea585edfc a24da3640d37c9b5841a439ff072a22e b1364288de1c4f4371180f93f7a5a7fc e39d27027a6cc9cb039ad269a5db8e34 bd573a5ca8288eb7272482765f819534 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1815172893912334336 |