Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders

Detalhes bibliográficos
Autor(a) principal: Pimentel, Levi da Costa
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPB
Texto Completo: https://repositorio.ufpb.br/jspui/handle/123456789/27059
Resumo: Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados.
id UFPB-2_013550f511bc1a2ca8d44b3ef2db6425
oai_identifier_str oai:repositorio.ufpb.br:123456789/27059
network_acronym_str UFPB-2
network_name_str Repositório Institucional da UFPB
repository_id_str
spelling 2023-06-01T10:43:11Z2023-04-172023-06-01T10:43:11Z2023-03-30https://repositorio.ufpb.br/jspui/handle/123456789/27059Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados.One of the main problems encountered in Smart Grids is the occurrence of outliers, which can corrupt data, thus modifying the information brought by them, making it difficult for electrical system operators to make decisions based on this information. Therefore, this work proposes an integrated outlier detection and correction methodology, based on artificial neural networks. More specifically, a detection system based on Autoencoders was developed, with the aid of a softmax layer, and a correction system based on Autoencoders. The proposed methodology was contemplated in several scenarios, using data from a real substation, where the influence of the variation in the number of outliers present in the database, as well as the variation of their amplitude, on the functioning of the algorithms, is evaluated. In the tests performed, the detection technique achieved Accuracy and F-scores greater than 99.7% and 97.4%, respectively. The correction technique obtained MAPE mean absolute percentage error of 1.42%, while the root mean square error remained, in most of the evaluated scenarios, below 0.15 MW, a value that represents about 1.7% of the maximum power value available in the database.Submitted by Fernando Augusto Alves Vieira (fernandovieira@biblioteca.ufpb.br) on 2023-06-01T10:43:11Z No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) LeviDaCostaPimentel_Dissert.pdf: 3117550 bytes, checksum: 378aa745c41b98f24242f595b728207f (MD5)Made available in DSpace on 2023-06-01T10:43:11Z (GMT). No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) LeviDaCostaPimentel_Dissert.pdf: 3117550 bytes, checksum: 378aa745c41b98f24242f595b728207f (MD5) Previous issue date: 2023-03-30NenhumaporUniversidade Federal da ParaíbaPrograma de Pós-Graduação em Engenharia ElétricaUFPBBrasilEngenharia ElétricaAttribution-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAInteligência artificialMedidores inteligentesRedes Neurais Artificiais (RNA)Redes elétricas inteligentesDetecção e correção de outliersAutoencodersArtificial intelligenceSmart metersArtificial Neural Networks (ANN)Smart gridsOutlier detection and correctionDetecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencodersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisVillanueva, Juan Maurício Moiseshttp://lattes.cnpq.br/144681746221864609820008476http://lattes.cnpq.br/3626944186255089Pimentel, Levi da Costareponame:Repositório Institucional da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPBTEXTLeviDaCostaPimentel_Dissert.pdf.txtLeviDaCostaPimentel_Dissert.pdf.txtExtracted texttext/plain152613https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/4/LeviDaCostaPimentel_Dissert.pdf.txtccfa1976910ea8bdf7f97f1eabb2ed53MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82390https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/3/license.txte20ac18e101915e6935b82a641b985c0MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8805https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/2/license_rdfc4c98de35c20c53220c07884f4def27cMD52ORIGINALLeviDaCostaPimentel_Dissert.pdfLeviDaCostaPimentel_Dissert.pdfapplication/pdf3117550https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/1/LeviDaCostaPimentel_Dissert.pdf378aa745c41b98f24242f595b728207fMD51123456789/270592023-06-02 03:03:56.804QVVUT1JJWkHDh8ODTyBFIExJQ0VOw4dBIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCgpBdXRvcml6byBlIGVzdG91IGRlIGFjb3JkbywgbmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbyBhdXRvLWRlcG9zaXRhZGEsIGNvbmZvcm1lIExlaSBuwrogOTYxMC85OCwgb3Mgc2VndWludGVzIHRlcm1vczoKIApEYSBEaXN0cmlidWnDp8OjbyBuw6NvLWV4Y2x1c2l2YSAKTyBhdXRvciBkZWNsYXJhIHF1ZTogCmEpIE8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0ZSB0ZXJtby4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuIApiKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MgZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0ZSB0ZXJtbywgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IGNvbnRlw7pkbyBkbyB0cmFiYWxobyBlbnRyZWd1ZS4gCmMpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIGJhc2VhZG8gZW0gdHJhYmFsaG8gZmluYW5jaWFkbyBvdSBhcG9pYWRvIHBvciBvdXRyYSBpbnN0aXR1acOnw6NvIHF1ZSBuw6NvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCmQpIENvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBvIGRpcmVpdG8gZGUgcmVwcm9kdXppciwgdHJhZHV6aXIsIGUvb3UgZGlzdHJpYnVpciBhIHN1YSBwdWJsaWNhw6fDo28gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KZSkgVm9jw6ogY29uY29yZGEgcXVlIG8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYcOnw6NvIHBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLgpmKSBWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrdXAgZSBwcmVzZXJ2YcOnw6NvLgoKRG9zIEVtYmFyZ29zIGUgUmVzdHJpw6fDtWVzIGRlIEFjZXNzbwpPIGVtYmFyZ28gcG9kZXLDoSBzZXIgbWFudGlkbyBwb3IgYXTDqSAxICh1bSkgYW5vLCBwb2RlbmRvIHNlciBwcm9ycm9nYWRvIHBvciBpZ3VhbCBwZXLDrW9kbywgY29tIGEgbmVjZXNzaWRhZGUgZGUgYW5leGFyIGRvY3VtZW50b3MgY29tcHJvYmF0w7NyaW9zLiBPIHJlc3VtbyBlIG9zIG1ldGFkYWRvcyBkZXNjcml0aXZvcyBzZXLDo28gZGlzcG9uaWJpbGl6YWRvcyBubyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCLgpPIGRlcMOzc2l0byBkbyB0cmFiYWxobyDDqSBvYnJpZ2F0w7NyaW8sIGluZGVwZW5kZW50ZSBkbyBlbWJhcmdvLgpRdWFuZG8gZW1iYXJnYWRvLCBvIHRyYWJhbGhvIHBlcm1hbmVjZXLDoSBpbmRpc3BvbsOtdmVsIGVucXVhbnRvIHZpZ29yYXIgYXMgcmVzdHJpw6fDtWVzLiBQYXNzYWRvIG8gcGVyw61vZG8gZG8gZW1iYXJnbywgbyB0cmFiYWxobyBzZXLDoSBhdXRvbWF0aWNhbWVudGUgZGlzcG9uaWJpbGl6YWRvIG5vIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEIuIAo=Repositório InstitucionalPUB
dc.title.pt_BR.fl_str_mv Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
title Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
spellingShingle Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
Pimentel, Levi da Costa
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Inteligência artificial
Medidores inteligentes
Redes Neurais Artificiais (RNA)
Redes elétricas inteligentes
Detecção e correção de outliers
Autoencoders
Artificial intelligence
Smart meters
Artificial Neural Networks (ANN)
Smart grids
Outlier detection and correction
title_short Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
title_full Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
title_fullStr Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
title_full_unstemmed Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
title_sort Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
author Pimentel, Levi da Costa
author_facet Pimentel, Levi da Costa
author_role author
dc.contributor.advisor1.fl_str_mv Villanueva, Juan Maurício Moises
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/1446817462218646
dc.contributor.authorID.fl_str_mv 09820008476
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/3626944186255089
dc.contributor.author.fl_str_mv Pimentel, Levi da Costa
contributor_str_mv Villanueva, Juan Maurício Moises
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Inteligência artificial
Medidores inteligentes
Redes Neurais Artificiais (RNA)
Redes elétricas inteligentes
Detecção e correção de outliers
Autoencoders
Artificial intelligence
Smart meters
Artificial Neural Networks (ANN)
Smart grids
Outlier detection and correction
dc.subject.por.fl_str_mv Inteligência artificial
Medidores inteligentes
Redes Neurais Artificiais (RNA)
Redes elétricas inteligentes
Detecção e correção de outliers
Autoencoders
Artificial intelligence
Smart meters
Artificial Neural Networks (ANN)
Smart grids
Outlier detection and correction
description Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-06-01T10:43:11Z
dc.date.available.fl_str_mv 2023-04-17
2023-06-01T10:43:11Z
dc.date.issued.fl_str_mv 2023-03-30
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpb.br/jspui/handle/123456789/27059
url https://repositorio.ufpb.br/jspui/handle/123456789/27059
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal da Paraíba
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFPB
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Engenharia Elétrica
publisher.none.fl_str_mv Universidade Federal da Paraíba
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPB
instname:Universidade Federal da Paraíba (UFPB)
instacron:UFPB
instname_str Universidade Federal da Paraíba (UFPB)
instacron_str UFPB
institution UFPB
reponame_str Repositório Institucional da UFPB
collection Repositório Institucional da UFPB
bitstream.url.fl_str_mv https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/4/LeviDaCostaPimentel_Dissert.pdf.txt
https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/3/license.txt
https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/2/license_rdf
https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/1/LeviDaCostaPimentel_Dissert.pdf
bitstream.checksum.fl_str_mv ccfa1976910ea8bdf7f97f1eabb2ed53
e20ac18e101915e6935b82a641b985c0
c4c98de35c20c53220c07884f4def27c
378aa745c41b98f24242f595b728207f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1777562293040578560