Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet

Detalhes bibliográficos
Autor(a) principal: SOUZA, Camila Oliveira de
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
dARK ID: ark:/64986/001300000r8s0
Texto Completo: https://repositorio.ufpe.br/handle/123456789/39222
Resumo: Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100.
id UFPE_15a197862188a13d0e904936f57d3dd3
oai_identifier_str oai:repositorio.ufpe.br:123456789/39222
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling SOUZA, Camila Oliveira dehttp://lattes.cnpq.br/7167327975710103http://lattes.cnpq.br/1244195230407619ZANCHETTIN, Cleber2021-02-17T12:06:18Z2021-02-17T12:06:18Z2020-02-14SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.https://repositorio.ufpe.br/handle/123456789/39222ark:/64986/001300000r8s0Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100.Great advances have been made in models based on Convolutional Neural Networks. Considering image processing problems, these models already outperform humans in some cases. Despite the excellent results in this area, models with extremely high accuracy rates are, in general, very large, reaching hundreds of millions of parameters, which makes them unfeasible for several real-world applications, where the computational power available is usually quite limited. In this context, we investigated the possible reduction in the number of parameters of the SqueezeNet network, which aims to be an architecture with reduced size and good accuracy, caused by the replacement of its traditional convolutions by Depthwise Separable Convolutions (DSC), as well as the impact of this replacement on other model analysis metrics. The metrics analyzed are the accuracy, the number of parameters, the storage size and the inference time of a single test example. The resulting network, called SqueezeNet-DSC, is then applied to the image classification problem, and its performance is compared to other networks that are a reference in the area, such as MobileNet, AlexNet and VGG19. SqueezeNet-DSC showed a considerable reduction in storage space, reaching 37% of the storage space of the original SqueezeNet, with a loss of accuracy of 1.07% on the CIFAR-10 base and 3.06% on CIFAR-100 database.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalAprendizagem de máquinaUsando convolução separável em profundidade na otimização da arquitetura SqueezeNetinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Camila Oliveira de Souza.pdfDISSERTAÇÃO Camila Oliveira de Souza.pdfapplication/pdf2461435https://repositorio.ufpe.br/bitstream/123456789/39222/1/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf89bc283596122fe81d0cab1ea585edfcMD51TEXTDISSERTAÇÃO Camila Oliveira de Souza.pdf.txtDISSERTAÇÃO Camila Oliveira de Souza.pdf.txtExtracted texttext/plain138406https://repositorio.ufpe.br/bitstream/123456789/39222/6/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.txta24da3640d37c9b5841a439ff072a22eMD56THUMBNAILDISSERTAÇÃO Camila Oliveira de Souza.pdf.jpgDISSERTAÇÃO Camila Oliveira de Souza.pdf.jpgGenerated Thumbnailimage/jpeg1247https://repositorio.ufpe.br/bitstream/123456789/39222/7/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.jpgb1364288de1c4f4371180f93f7a5a7fcMD57CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/39222/4/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82310https://repositorio.ufpe.br/bitstream/123456789/39222/5/license.txtbd573a5ca8288eb7272482765f819534MD55123456789/392222021-02-18 02:15:50.933oai:repositorio.ufpe.br:123456789/39222TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLCBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWlzcXVlciBvYnJpZ2HDp8O1ZXMgZXhpZ2lkYXMgcGVsbyByZXNwZWN0aXZvIGNvbnRyYXRvIG91IGFjb3Jkby4KCkEgVUZQRSBpZGVudGlmaWNhcsOhIGNsYXJhbWVudGUgbyhzKSBub21lKHMpIGRvKHMpIGF1dG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50byBlbnRyZWd1ZSBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZG8gcHJldmlzdG8gbmEgYWzDrW5lYSBjKS4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212021-02-18T05:15:50Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
title Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
spellingShingle Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
SOUZA, Camila Oliveira de
Inteligência computacional
Aprendizagem de máquina
title_short Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
title_full Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
title_fullStr Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
title_full_unstemmed Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
title_sort Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet
author SOUZA, Camila Oliveira de
author_facet SOUZA, Camila Oliveira de
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7167327975710103
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1244195230407619
dc.contributor.author.fl_str_mv SOUZA, Camila Oliveira de
dc.contributor.advisor1.fl_str_mv ZANCHETTIN, Cleber
contributor_str_mv ZANCHETTIN, Cleber
dc.subject.por.fl_str_mv Inteligência computacional
Aprendizagem de máquina
topic Inteligência computacional
Aprendizagem de máquina
description Grandes avanços vêm sendo realizados em modelos baseados em Redes Neurais Convolucionais. Considerando problemas de processamento de imagens, esses modelos já possuem desempenho que em alguns casos superam o humano. Apesar dos excelentes resultados neste aspecto, modelos com taxas de acurácia extremamente altas são, em geral, muito grandes, chegando a possuir centenas de milhões de parâmetros, o que os torna inviáveis para diversas aplicações do mundo real, onde o poder computacional disponível normalmente é bastante limitado. Neste contexto, investigamos a possível redução do número de parâmetros da rede SqueezeNet, a qual se propõe a ser uma arquitetura com tamanho reduzido e boa taxa de acerto, a partir da substituição de suas convoluções tradicionais por Convoluções Separáveis em Profundidade (DSC), assim como o impacto desta substituição em outras métricas de análise do modelo. As métricas analisadas são a acurácia, o número de parâmetros, o tamanho de armazenamento e o tempo de inferência de um único exemplo de teste. A rede resultante, denominada SqueezeNet-DSC é então aplicada ao problema de classificação de imagens, e sua performance comparada com outras redes que são referência na área, como a MobileNet, a AlexNet e a VGG19. A SqueezeNet-DSC apresentou uma redução considerável no espaço de armazenamento, chegando a 37% do espaço de armazenamento da SqueezeNet original, com uma perda de acurácia de 1,07% na base CIFAR-10 e de 3,06% na base de dados CIFAR-100.
publishDate 2020
dc.date.issued.fl_str_mv 2020-02-14
dc.date.accessioned.fl_str_mv 2021-02-17T12:06:18Z
dc.date.available.fl_str_mv 2021-02-17T12:06:18Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/39222
dc.identifier.dark.fl_str_mv ark:/64986/001300000r8s0
identifier_str_mv SOUZA, Camila Oliveira de. Usando convolução separável em profundidade na otimização da arquitetura SqueezeNet. 2020. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2020.
ark:/64986/001300000r8s0
url https://repositorio.ufpe.br/handle/123456789/39222
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/39222/1/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf
https://repositorio.ufpe.br/bitstream/123456789/39222/6/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/39222/7/DISSERTA%c3%87%c3%83O%20Camila%20Oliveira%20de%20Souza.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/39222/4/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/39222/5/license.txt
bitstream.checksum.fl_str_mv 89bc283596122fe81d0cab1ea585edfc
a24da3640d37c9b5841a439ff072a22e
b1364288de1c4f4371180f93f7a5a7fc
e39d27027a6cc9cb039ad269a5db8e34
bd573a5ca8288eb7272482765f819534
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1815172893912334336