Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água

Detalhes bibliográficos
Autor(a) principal: Costa, Artur Tiburski Vaz
Data de Publicação: 2022
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/255812
Resumo: O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude.
id UFRGS-2_8966962190307b16a6adfcb1b16b0aff
oai_identifier_str oai:www.lume.ufrgs.br:10183/255812
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Costa, Artur Tiburski VazFernandes, Pedro Rafael Bolognese2023-03-17T03:25:18Z2022http://hdl.handle.net/10183/255812001155840O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude.The growing development and application of artificial intelligence in processes on various industries promotes the need to increasingly study and adapt the use of these tools to processes of the chemical industry. Among these tools, are the Artificial Neural Networks, which generalization capacities have the potential to, under the correct circumstances of the database and training, deliver results very close to reality. In that regard, this study has, as objective, testing the regularization techniques usually employed in the training of neural networks, which aim at avoiding the problems of overfitting associated to the model, having as study base the analysis of a water industrial cooling tower. The tested techniques were the L1, L2 and Dropout regularizations, which were applied to networks that were trained using various configurations, along with several values of hyperparameters. By analyzing the results of the performance metrics mean absolute error (MAE) and root mean square error (RMSE), as well as the behaviour of the learning curves resulted from the networks’ training under various conditions, it was possible to verify which network architectures obtained the best prediction results without data regularization, for the cases of one and two hidden layers. The L2 technique with λ = 0,01 in the case of the neural network with 5 internal nodes was the only case in which the regularization resulted in values of MAE and RMSE smaller than the network with no regularization. From this result, by using exploratory analysis, it was investigated the value of λ (L2) that provided the smallest MAE and RMSE for this network, obtaining the value of λ = 0,01597. However, it was verified that, in general, the regularization techniques did not deliver significant improvements in the generalization capacity of the neural networks and did not demonstrate, in the learning curves, a decrease of the overfitting effects, even if present in small intensity.application/pdfporTorres de refrigeraçãoRedes neurais artificiaisInteligência artificialArtificial intelligenceArtificial neural networksData regularizationOverfittingComparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de águainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulEscola de EngenhariaPorto Alegre, BR-RS2022Engenharia Químicagraduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001155840.pdf.txt001155840.pdf.txtExtracted Texttext/plain81355http://www.lume.ufrgs.br/bitstream/10183/255812/2/001155840.pdf.txtda1ba610344250fd463e5bbafff748e1MD52ORIGINAL001155840.pdfTexto completoapplication/pdf3119694http://www.lume.ufrgs.br/bitstream/10183/255812/1/001155840.pdf8b95e03edb94b9242f2e33c367af01aaMD5110183/2558122023-03-18 03:31:24.834654oai:www.lume.ufrgs.br:10183/255812Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2023-03-18T06:31:24Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
title Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
spellingShingle Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
Costa, Artur Tiburski Vaz
Torres de refrigeração
Redes neurais artificiais
Inteligência artificial
Artificial intelligence
Artificial neural networks
Data regularization
Overfitting
title_short Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
title_full Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
title_fullStr Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
title_full_unstemmed Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
title_sort Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
author Costa, Artur Tiburski Vaz
author_facet Costa, Artur Tiburski Vaz
author_role author
dc.contributor.author.fl_str_mv Costa, Artur Tiburski Vaz
dc.contributor.advisor1.fl_str_mv Fernandes, Pedro Rafael Bolognese
contributor_str_mv Fernandes, Pedro Rafael Bolognese
dc.subject.por.fl_str_mv Torres de refrigeração
Redes neurais artificiais
Inteligência artificial
topic Torres de refrigeração
Redes neurais artificiais
Inteligência artificial
Artificial intelligence
Artificial neural networks
Data regularization
Overfitting
dc.subject.eng.fl_str_mv Artificial intelligence
Artificial neural networks
Data regularization
Overfitting
description O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude.
publishDate 2022
dc.date.issued.fl_str_mv 2022
dc.date.accessioned.fl_str_mv 2023-03-17T03:25:18Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/255812
dc.identifier.nrb.pt_BR.fl_str_mv 001155840
url http://hdl.handle.net/10183/255812
identifier_str_mv 001155840
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/255812/2/001155840.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/255812/1/001155840.pdf
bitstream.checksum.fl_str_mv da1ba610344250fd463e5bbafff748e1
8b95e03edb94b9242f2e33c367af01aa
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224654527922176