Análise de quantização para codificação de redes neurais sem retreino

Detalhes bibliográficos
Autor(a) principal: Tonin, Marcos Vinicius Prescendo
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: https://repositorio.unb.br/handle/10482/42501
Resumo: Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2021.
id UNB_f5f820289b3bd89e8d01e50eca90d5b4
oai_identifier_str oai:repositorio.unb.br:10482/42501
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Análise de quantização para codificação de redes neurais sem retreinoQuantizaçãocompressão de redes neuraisOpen Neural Network eXchange (ONNX)Recursos limitadosDissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2021.O aprendizado de máquinas e o aprendizado profundo são utilizados para a resolução de diversos problemas, em diferentes áreas de atuação. Esse fato impulsiona o desenvolvimento de redes neurais, além de estimular o crescimento do tamanho destas. Este estudo propõe um método para reduzir o tamanho de redes neurais sem retreiná-las, relacionando a entropia dos pesos dos modelos e a acurácia dos modelos. Parte deste estudo foi dedicado à distribuição dos pesos, procurando semelhanças entre elas e as distribuições conhecidas. Com intuito de reduzir o tamanho da rede foi realizada a compressão do modelo por meio de vários tipos de quantização. Ao final deste estudo, indica-se que é possível diminuir o tamanho da rede em 8 vezes, com um prejuízo não maior que 0,8% para as métricas de acurácia, além de mostrar que quantização com deadzone possui um bom resultado para as redes testadas. E assim, a quantização e a codificação recomendadas podem ser incorporadas a um formato de distribuição de redes neurais.Machine learning and deep learning are used to solve different problems in different areas of expertise. This fact drives the development of neural networks, in addition to stimulating the growth of their size. This study proposes a method to reduce the size of neural networks without retraining them, relating the entropy of the models' weights and the accuracy of the models. Part of this study is about the distribution of weights, their similarities, and specific distributions. We studied various types of weights quantization to compress neural networks. This study indicates that it is possible to reduce the size of the network by 8 times, with a maximum loss of 0.8% for the accuracy metrics. The recommended quantization and encoding may be incorporated into a format for the deployment of neural networks.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Programa de Pós-Graduação em Engenharia ElétricaQueiroz, Ricardo Lopes deTonin, Marcos Vinicius Prescendo2021-12-01T16:44:45Z2021-12-01T16:44:45Z2021-12-012021-09-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfTONIN, Marcos Vinicius Prescendo. Análise de Quantização para Codificação de Redes Neurais sem Retreino. 2021. 69 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2021.https://repositorio.unb.br/handle/10482/42501A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-03-01T16:01:12Zoai:repositorio.unb.br:10482/42501Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-03-01T16:01:12Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Análise de quantização para codificação de redes neurais sem retreino
title Análise de quantização para codificação de redes neurais sem retreino
spellingShingle Análise de quantização para codificação de redes neurais sem retreino
Tonin, Marcos Vinicius Prescendo
Quantização
compressão de redes neurais
Open Neural Network eXchange (ONNX)
Recursos limitados
title_short Análise de quantização para codificação de redes neurais sem retreino
title_full Análise de quantização para codificação de redes neurais sem retreino
title_fullStr Análise de quantização para codificação de redes neurais sem retreino
title_full_unstemmed Análise de quantização para codificação de redes neurais sem retreino
title_sort Análise de quantização para codificação de redes neurais sem retreino
author Tonin, Marcos Vinicius Prescendo
author_facet Tonin, Marcos Vinicius Prescendo
author_role author
dc.contributor.none.fl_str_mv Queiroz, Ricardo Lopes de
dc.contributor.author.fl_str_mv Tonin, Marcos Vinicius Prescendo
dc.subject.por.fl_str_mv Quantização
compressão de redes neurais
Open Neural Network eXchange (ONNX)
Recursos limitados
topic Quantização
compressão de redes neurais
Open Neural Network eXchange (ONNX)
Recursos limitados
description Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2021.
publishDate 2021
dc.date.none.fl_str_mv 2021-12-01T16:44:45Z
2021-12-01T16:44:45Z
2021-12-01
2021-09-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv TONIN, Marcos Vinicius Prescendo. Análise de Quantização para Codificação de Redes Neurais sem Retreino. 2021. 69 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2021.
https://repositorio.unb.br/handle/10482/42501
identifier_str_mv TONIN, Marcos Vinicius Prescendo. Análise de Quantização para Codificação de Redes Neurais sem Retreino. 2021. 69 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2021.
url https://repositorio.unb.br/handle/10482/42501
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1810580828978151424

Registros relacionados