Recurrent Neural Networks for SMILES generation - Quantization Study

Detalhes bibliográficos
Autor(a) principal: Durão, Adriano Pinto
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/102042
Resumo: Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_e152a30c0fa8bfd93fd677131b740f89
oai_identifier_str oai:estudogeral.uc.pt:10316/102042
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Recurrent Neural Networks for SMILES generation - Quantization StudyRedes Neuronais Recorrentes para geração de SMILES - Estudo de QuantizaçãoLSTMRedes NeuronaisMachine LearningQuantizaçãoSMILESLSTMNeural NetworksMachine LearningQuantizationSMILESDissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaMachine Learning (ML) has possibly become the biggest research topic in computer science, aiming to improve how tasks are performed and automate computer learning,making use of the ever increasing data available on every major subject, from economics to health. Due to the high number of computations necessary to train ML models it is a very energy intensive process.Optimizing the training process leads to faster and less costly models and allows them to run on less powerful devices. By running the models at reduced precision significant savings can be attained both in memory requirements and power consumption. Most optimization techniques focus on training the network at float precision, converting the model to 16 or 8 bits and running inference on the converted model.This study focuses on the effects of applying quantization during training, making use of the QKeras library. It offers the flexibility to choose the precision used by the model by defining the number of bits at each layer. A class of Neural Networks (NNs) denominated Recurrent Neural Networks (RNNs) will be the focus of the study, comparing the performance of 3 of the most used algorithms, Simple RNN, Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU). The models were trained on a selection of SMILES, a form of line notation for molecular information, from the PubChem database. Quantization performance was compared to their float equivalent for several combinations of tuneable parameters. The goal of the program used for testing is to generate a large number of novel SMILES, facilitating the process of Drug Discovery that is traditionally very expensive and difficult.By understanding how the behavior of quantized networks deviates from the regular model, in relation to the parameters used, the process of choosing whether to quantize a model and to which degree becomes more efficient. This study was able to achieve good performance even on 4 bit models making use of LSTM and GRU layers and concluded that Simple RNN quantization is not worth it.Machine Learning (ML) tornou-se, nos últimos anos, num dos principais tópicos de pesquisa em ciência de computadores, tendo como principal objetivo melhorar a forma como as tarefas são executadas e automatizar a aprendizagem por computador, fazendo uso da maior disponibilidade de dados sobre as mais variadas áreas, da economia à saúde. Devido ao elevado número de cálculos necessários para treinar modelos de ML, , este é um processo que implica elevados custos energéticos. A otimização do processo de treino leva à obtenção de modelos mais rápidos e menos dispendiosos, permitindo que eles sejam executados em dispositivos menos potentes. Ao executar os modelos com precisão reduzida, é possível obter poupanças significativas nos requisitos de memória e no consumo de energia.A maioria das técnicas de otimização concentra-se em treinar a rede com precisão float, convertendo a seguir o modelo para 16 ou 8 bits e executando a inferência no modelo convertido.Este estudo foca-se nos efeitos da aplicação de quantização durante o treino, recorrendo à biblioteca QKeras. Esta oferece a flexibilidade de escolher a precisão usada pelo modelo, definindo o número de bits em cada camada. A classe de Redes Neuronais denominada Redes Neuronais Recurrentes será o foco do estudo, comparando o desempenho de 3 dos algoritmos mais utilizados, RNN simples, LSTM e GRU. Os modelos foram treinados numa seleção de SMILES, uma forma de notação de linha com informações moleculares, retiradas do banco de dados PubChem. O desempenho dos modelos quantizados foi comparado ao seu equivalente float para várias combinações de parâmetros ajustáveis. O objetivo do programa usado para teste é gerar um grande número de novos SMILES, facilitando o processo de descoberta de novos fármacos, tradicionalmente muito caro e de difícil execução. ̃Ao entender como o comportamento das redes quantizadas se desvia do modelo regular, para cada combinação de parâmetros utilizados, o processo de escolher quantizar um modelo ou não e em que grau o fazer torna-se mais eficiente. Este estudo conseguiu obter um bom desempenho mesmo em modelos de 4 bits, fazendo uso de camadas LSTM e GRU e concluiu que a quantização de modelos usando de camadas RNN simples leva a uma elevada degradação de desempenho.Outro - This work was partially supported by Instituto de Telecomunicações and Fundação para a Ciência e a Tecnologia, Portugal, under grants UIDB/EEA/50008/2020 and EXPL/EEI-HAC/1511/2021.2022-07-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102042http://hdl.handle.net/10316/102042TID:203061861engDurão, Adriano Pintoinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-09-23T20:42:58Zoai:estudogeral.uc.pt:10316/102042Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:05.378400Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Recurrent Neural Networks for SMILES generation - Quantization Study
Redes Neuronais Recorrentes para geração de SMILES - Estudo de Quantização
title Recurrent Neural Networks for SMILES generation - Quantization Study
spellingShingle Recurrent Neural Networks for SMILES generation - Quantization Study
Durão, Adriano Pinto
LSTM
Redes Neuronais
Machine Learning
Quantização
SMILES
LSTM
Neural Networks
Machine Learning
Quantization
SMILES
title_short Recurrent Neural Networks for SMILES generation - Quantization Study
title_full Recurrent Neural Networks for SMILES generation - Quantization Study
title_fullStr Recurrent Neural Networks for SMILES generation - Quantization Study
title_full_unstemmed Recurrent Neural Networks for SMILES generation - Quantization Study
title_sort Recurrent Neural Networks for SMILES generation - Quantization Study
author Durão, Adriano Pinto
author_facet Durão, Adriano Pinto
author_role author
dc.contributor.author.fl_str_mv Durão, Adriano Pinto
dc.subject.por.fl_str_mv LSTM
Redes Neuronais
Machine Learning
Quantização
SMILES
LSTM
Neural Networks
Machine Learning
Quantization
SMILES
topic LSTM
Redes Neuronais
Machine Learning
Quantização
SMILES
LSTM
Neural Networks
Machine Learning
Quantization
SMILES
description Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-07-21
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/102042
http://hdl.handle.net/10316/102042
TID:203061861
url http://hdl.handle.net/10316/102042
identifier_str_mv TID:203061861
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134085640093696

Registros relacionados