Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/255812 |
Resumo: | O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude. |
id |
UFRGS-2_8966962190307b16a6adfcb1b16b0aff |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/255812 |
network_acronym_str |
UFRGS-2 |
network_name_str |
Repositório Institucional da UFRGS |
repository_id_str |
|
spelling |
Costa, Artur Tiburski VazFernandes, Pedro Rafael Bolognese2023-03-17T03:25:18Z2022http://hdl.handle.net/10183/255812001155840O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude.The growing development and application of artificial intelligence in processes on various industries promotes the need to increasingly study and adapt the use of these tools to processes of the chemical industry. Among these tools, are the Artificial Neural Networks, which generalization capacities have the potential to, under the correct circumstances of the database and training, deliver results very close to reality. In that regard, this study has, as objective, testing the regularization techniques usually employed in the training of neural networks, which aim at avoiding the problems of overfitting associated to the model, having as study base the analysis of a water industrial cooling tower. The tested techniques were the L1, L2 and Dropout regularizations, which were applied to networks that were trained using various configurations, along with several values of hyperparameters. By analyzing the results of the performance metrics mean absolute error (MAE) and root mean square error (RMSE), as well as the behaviour of the learning curves resulted from the networks’ training under various conditions, it was possible to verify which network architectures obtained the best prediction results without data regularization, for the cases of one and two hidden layers. The L2 technique with λ = 0,01 in the case of the neural network with 5 internal nodes was the only case in which the regularization resulted in values of MAE and RMSE smaller than the network with no regularization. From this result, by using exploratory analysis, it was investigated the value of λ (L2) that provided the smallest MAE and RMSE for this network, obtaining the value of λ = 0,01597. However, it was verified that, in general, the regularization techniques did not deliver significant improvements in the generalization capacity of the neural networks and did not demonstrate, in the learning curves, a decrease of the overfitting effects, even if present in small intensity.application/pdfporTorres de refrigeraçãoRedes neurais artificiaisInteligência artificialArtificial intelligenceArtificial neural networksData regularizationOverfittingComparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de águainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulEscola de EngenhariaPorto Alegre, BR-RS2022Engenharia Químicagraduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001155840.pdf.txt001155840.pdf.txtExtracted Texttext/plain81355http://www.lume.ufrgs.br/bitstream/10183/255812/2/001155840.pdf.txtda1ba610344250fd463e5bbafff748e1MD52ORIGINAL001155840.pdfTexto completoapplication/pdf3119694http://www.lume.ufrgs.br/bitstream/10183/255812/1/001155840.pdf8b95e03edb94b9242f2e33c367af01aaMD5110183/2558122023-03-18 03:31:24.834654oai:www.lume.ufrgs.br:10183/255812Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2023-03-18T06:31:24Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
title |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
spellingShingle |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água Costa, Artur Tiburski Vaz Torres de refrigeração Redes neurais artificiais Inteligência artificial Artificial intelligence Artificial neural networks Data regularization Overfitting |
title_short |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
title_full |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
title_fullStr |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
title_full_unstemmed |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
title_sort |
Comparação de métodos de regularização no treinamento de redes neurais artificiais aplicado a uma torre de resfriamento de água |
author |
Costa, Artur Tiburski Vaz |
author_facet |
Costa, Artur Tiburski Vaz |
author_role |
author |
dc.contributor.author.fl_str_mv |
Costa, Artur Tiburski Vaz |
dc.contributor.advisor1.fl_str_mv |
Fernandes, Pedro Rafael Bolognese |
contributor_str_mv |
Fernandes, Pedro Rafael Bolognese |
dc.subject.por.fl_str_mv |
Torres de refrigeração Redes neurais artificiais Inteligência artificial |
topic |
Torres de refrigeração Redes neurais artificiais Inteligência artificial Artificial intelligence Artificial neural networks Data regularization Overfitting |
dc.subject.eng.fl_str_mv |
Artificial intelligence Artificial neural networks Data regularization Overfitting |
description |
O crescente desenvolvimento e aplicação de técnicas de inteligência artificial a processos nas mais diversas indústrias promove a necessidade de, cada vez mais, estudar e adaptar o uso destas ferramentas a processos da indústria química. Entre estas ferramentas estão as Redes Neurais Artificiais, cuja capacidade de generalização tem o potencial de, sob as corretas condições da base de dados e treinamento, proporcionar resultados muito próximos da realidade. Nesse sentido, este trabalho tem como objetivo testar as técnicas de regularização comumente empregadas no treinamento de redes neuronais, as quais visam evitar os problemas de sobre-ajuste (overfitting) associados ao modelo, tendo como base o estudo de caso de uma torre industrial de resfriamento de água. As técnicas testadas foram as regularizações L1, L2 e Dropout, que foram aplicadas a redes treinadas em diversas configurações e com a utilização de variados valores de hiperparâmetros. Através da análise dos resultados das métricas de desempenho erro médio absoluto (MAE) e erro quadrático médio (RMSE), assim como do comportamento das curvas de aprendizado resultantes do treinamento das redes sob diversas condições, foi possível verificar quais arquiteturas de rede obtiveram os melhores resultados de predição sem regularização de dados, para os casos de uma e duas camadas ocultas. A técnica L2 com λ = 0,01 no caso da RNA com 5 nós internos foi o único caso em que a regularização resultou em valores de MAE e RMSE menores que a rede sem regularização. A partir deste resultado, através de análise exploratória, foi investigado o valor de λ (L2) que proporcionasse os menores MAE e RMSE para esta rede, chegando ao valor de λ = 0,01597. Contudo, foi verificado que, de forma geral, as técnicas de regularização não proporcionaram melhorias significativas na capacidade de generalização das RNA e não demonstraram, nas curvas de aprendizado, diminuição dos efeitos do sobre-ajuste, mesmo que presentes em pequena magnitude. |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022 |
dc.date.accessioned.fl_str_mv |
2023-03-17T03:25:18Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/255812 |
dc.identifier.nrb.pt_BR.fl_str_mv |
001155840 |
url |
http://hdl.handle.net/10183/255812 |
identifier_str_mv |
001155840 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Repositório Institucional da UFRGS |
collection |
Repositório Institucional da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/255812/2/001155840.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/255812/1/001155840.pdf |
bitstream.checksum.fl_str_mv |
da1ba610344250fd463e5bbafff748e1 8b95e03edb94b9242f2e33c367af01aa |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
|
_version_ |
1801224654527922176 |