Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens

• Autor(a) principal: Goldbarg, Mateus Arnaud Santos de Sousa
• Data de Publicação: 2021
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRN
• Texto Completo: https://repositorio.ufrn.br/handle/123456789/38053
• topic: Classificação de imagens; Image classification; Redes Neurais Profundas; Deep Neural Networks; Compressão de Modelo; Model Compression; Poda; Pruning; Treinamento de Modelo; Model Training

Técnicas de redes neurais profundas tem sido utilizadas com sucesso para classificação de imagens a partir da utilização de redes neurais convolucionais. Porém, algoritmos de deep learning realizam uma grande quantidade de operações matemáticas. Essas operações podem ser um gargalo no processo de grandes quantidades de imagens em um curto período de tempo. Em microcontroladores de baixo custo, essas operações podem resultar em um aumento significativo do consumo energético, mostrando assim a necessidade da aplicação de técnicas de compressão dessas redes. Atualmente, a maioria das redes profundas utilizadas para classificação de imagens não são otimizadas. A proposta deste trabalho é otmizar uma rede neural convolucional a partir da técnica de compressão de dados por poda. Durante o treino, a técnica é remover os pesos a cada batch ao invés da remoção dos pesos apenas no primeiro batch de cada época. Essa estratégia foi aplicada para classificação de 10 mil imagens de 10 classes diferentes. Foi possível remover aproximadamente 82% dos parâmetros da rede neural profunda mantendo uma alta acurácia. Esses resultados mostram que a técnica de remoção de pesos por batch se mostrou eficaz para essa aplicação.