Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study

Detalhes bibliográficos
Autor(a) principal: Dias, Simão Pedro das Neves Gonçalves
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/90159
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_025b3d524544431adf0e5df395194596
oai_identifier_str oai:estudogeral.uc.pt:10316/90159
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case StudyRedes Neuronais, DeepFloat & TensorFlow Lite; Caso de Estudo de Quantização Pós-TreinoMachine LearningQuantização Pós-TreinoDeepFloatArray SistólicoRedes NeuronaisMachine LearningPos-Training QuantizationDeepFloatSystolic ArrayNeural NetworksDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaRecentemente, Machine Learning (ML) passou por um período de renascimento devido à melhoria dos sistemas de computação e memórias dos computadores. A internet também teve um papel fundamental, permitindo o acesso e agregando enormes quantidades de dados. À medida que a tecnologia evolui, as optimizações feitas aos seus processos têm vindo a obter destaque.Tradicionalmente, os modelos de machine learning são bastante pesados em termos de memória e computações durante as fases de inferência e treino.Uma técnica de otimização utilizada em ML é focada na fase de inferência. Os modelos são tipicamente treinados em 32-bits, mas em vez de se realizar a inferência em 32-bits (operações e gravação), esta pode ser quantizada para um formato que utiliza menos bits - um processo designado por Quantização Pós-treino.Tipicamente, quanto menos bits forem guardados e movimentados num sistema, menor será a energia consumida e mais rápidas serão as computações implementadas, resultando num sistema mais eficiente, dado o mesmo tipo de tarefas.O objetivo deste estudo é comparar duas técnicas de quantização pós-treino de 8 bits utilizando dois modelos básicos diferentes, explorando os seus potenciais e as suas ressalvas. Ambos os modelos foram treinados para classificar algarismos escritos manualmente, em que o primeiro modelo é focado em camadas Fully Connected e o segundo é focado em camadas Convolutional.Uma das técnicas estudadas utiliza um sistema de representação numérica novo e este trabalho também explora um modelo para compreender como este sistema acumula erro. Em suma, é uma tentativa para perceber qual dos métodos fornece uma solução mais eficaz e prática.In recent years, Machine Learning (ML) went through a renascence due to improvements in computing systems and computer memories. The internet also played an important role, by providing access to and aggregating large amounts of data. As this technology evolves, optimizations to its processes are receiving more attention.Traditionally, machine learning models are intense in both memory and computations during training and inference.An optimization technique used in ML is focused on the inference phase. Models are typically trained in 32-bits, but instead of performing inference in 32-bits (operations and storage), it can be quantized to a format that uses fewer bits - this is called Post-training quantization.Usually, the fewer bits being stored and moved around in a computing system, the less energy is consumed, thus faster computations are performed, resulting in a more efficient system, given equivalent tasks.The goal of this study is to compare two 8-bit Post-training Quantization techniques by using two different basic models and exploit both their potentials and caveats. Both models are trained to classify handwritten numbers, the first one is focused on Fully Connected layers while the second focuses on Convolutional Layers.One of the techniques examined adopts a novel numeric representation system and this work also explores a model to understand how the system accumulates error. In short, it is an attempt at understanding which method provides a more efficient and practical solution.Outro - Este trabalho teve o apoio do Instituto de Telecomunicações, INESC-ID e Fundação para a Ciência e a Tecnologia, no âmbito dos Projectos UIDB/EEA/50008/2020, PTDC/EEI-HAC/30485/2017 e H2020-DS-06-2017-779391.2020-02-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/90159http://hdl.handle.net/10316/90159TID:202491056engDias, Simão Pedro das Neves Gonçalvesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T04:36:19Zoai:estudogeral.uc.pt:10316/90159Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:10:21.244632Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
Redes Neuronais, DeepFloat & TensorFlow Lite; Caso de Estudo de Quantização Pós-Treino
title Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
spellingShingle Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
Dias, Simão Pedro das Neves Gonçalves
Machine Learning
Quantização Pós-Treino
DeepFloat
Array Sistólico
Redes Neuronais
Machine Learning
Pos-Training Quantization
DeepFloat
Systolic Array
Neural Networks
title_short Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
title_full Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
title_fullStr Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
title_full_unstemmed Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
title_sort Neural Networks, DeepFloat & TensorFlow Lite; Post-Training Quantization Case Study
author Dias, Simão Pedro das Neves Gonçalves
author_facet Dias, Simão Pedro das Neves Gonçalves
author_role author
dc.contributor.author.fl_str_mv Dias, Simão Pedro das Neves Gonçalves
dc.subject.por.fl_str_mv Machine Learning
Quantização Pós-Treino
DeepFloat
Array Sistólico
Redes Neuronais
Machine Learning
Pos-Training Quantization
DeepFloat
Systolic Array
Neural Networks
topic Machine Learning
Quantização Pós-Treino
DeepFloat
Array Sistólico
Redes Neuronais
Machine Learning
Pos-Training Quantization
DeepFloat
Systolic Array
Neural Networks
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-02-20
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/90159
http://hdl.handle.net/10316/90159
TID:202491056
url http://hdl.handle.net/10316/90159
identifier_str_mv TID:202491056
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133997907836928

Registros relacionados