Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPB |
Texto Completo: | https://repositorio.ufpb.br/jspui/handle/123456789/27059 |
Resumo: | Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados. |
id |
UFPB-2_013550f511bc1a2ca8d44b3ef2db6425 |
---|---|
oai_identifier_str |
oai:repositorio.ufpb.br:123456789/27059 |
network_acronym_str |
UFPB-2 |
network_name_str |
Repositório Institucional da UFPB |
repository_id_str |
|
spelling |
2023-06-01T10:43:11Z2023-04-172023-06-01T10:43:11Z2023-03-30https://repositorio.ufpb.br/jspui/handle/123456789/27059Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados.One of the main problems encountered in Smart Grids is the occurrence of outliers, which can corrupt data, thus modifying the information brought by them, making it difficult for electrical system operators to make decisions based on this information. Therefore, this work proposes an integrated outlier detection and correction methodology, based on artificial neural networks. More specifically, a detection system based on Autoencoders was developed, with the aid of a softmax layer, and a correction system based on Autoencoders. The proposed methodology was contemplated in several scenarios, using data from a real substation, where the influence of the variation in the number of outliers present in the database, as well as the variation of their amplitude, on the functioning of the algorithms, is evaluated. In the tests performed, the detection technique achieved Accuracy and F-scores greater than 99.7% and 97.4%, respectively. The correction technique obtained MAPE mean absolute percentage error of 1.42%, while the root mean square error remained, in most of the evaluated scenarios, below 0.15 MW, a value that represents about 1.7% of the maximum power value available in the database.Submitted by Fernando Augusto Alves Vieira (fernandovieira@biblioteca.ufpb.br) on 2023-06-01T10:43:11Z No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) LeviDaCostaPimentel_Dissert.pdf: 3117550 bytes, checksum: 378aa745c41b98f24242f595b728207f (MD5)Made available in DSpace on 2023-06-01T10:43:11Z (GMT). No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) LeviDaCostaPimentel_Dissert.pdf: 3117550 bytes, checksum: 378aa745c41b98f24242f595b728207f (MD5) Previous issue date: 2023-03-30NenhumaporUniversidade Federal da ParaíbaPrograma de Pós-Graduação em Engenharia ElétricaUFPBBrasilEngenharia ElétricaAttribution-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAInteligência artificialMedidores inteligentesRedes Neurais Artificiais (RNA)Redes elétricas inteligentesDetecção e correção de outliersAutoencodersArtificial intelligenceSmart metersArtificial Neural Networks (ANN)Smart gridsOutlier detection and correctionDetecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencodersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisVillanueva, Juan Maurício Moiseshttp://lattes.cnpq.br/144681746221864609820008476http://lattes.cnpq.br/3626944186255089Pimentel, Levi da Costareponame:Repositório Institucional da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPBTEXTLeviDaCostaPimentel_Dissert.pdf.txtLeviDaCostaPimentel_Dissert.pdf.txtExtracted texttext/plain152613https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/4/LeviDaCostaPimentel_Dissert.pdf.txtccfa1976910ea8bdf7f97f1eabb2ed53MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82390https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/3/license.txte20ac18e101915e6935b82a641b985c0MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8805https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/2/license_rdfc4c98de35c20c53220c07884f4def27cMD52ORIGINALLeviDaCostaPimentel_Dissert.pdfLeviDaCostaPimentel_Dissert.pdfapplication/pdf3117550https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/1/LeviDaCostaPimentel_Dissert.pdf378aa745c41b98f24242f595b728207fMD51123456789/270592023-06-02 03:03:56.804QVVUT1JJWkHDh8ODTyBFIExJQ0VOw4dBIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCgpBdXRvcml6byBlIGVzdG91IGRlIGFjb3JkbywgbmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbyBhdXRvLWRlcG9zaXRhZGEsIGNvbmZvcm1lIExlaSBuwrogOTYxMC85OCwgb3Mgc2VndWludGVzIHRlcm1vczoKIApEYSBEaXN0cmlidWnDp8OjbyBuw6NvLWV4Y2x1c2l2YSAKTyBhdXRvciBkZWNsYXJhIHF1ZTogCmEpIE8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0ZSB0ZXJtby4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuIApiKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MgZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0ZSB0ZXJtbywgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IGNvbnRlw7pkbyBkbyB0cmFiYWxobyBlbnRyZWd1ZS4gCmMpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIGJhc2VhZG8gZW0gdHJhYmFsaG8gZmluYW5jaWFkbyBvdSBhcG9pYWRvIHBvciBvdXRyYSBpbnN0aXR1acOnw6NvIHF1ZSBuw6NvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCmQpIENvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBvIGRpcmVpdG8gZGUgcmVwcm9kdXppciwgdHJhZHV6aXIsIGUvb3UgZGlzdHJpYnVpciBhIHN1YSBwdWJsaWNhw6fDo28gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KZSkgVm9jw6ogY29uY29yZGEgcXVlIG8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYcOnw6NvIHBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLgpmKSBWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrdXAgZSBwcmVzZXJ2YcOnw6NvLgoKRG9zIEVtYmFyZ29zIGUgUmVzdHJpw6fDtWVzIGRlIEFjZXNzbwpPIGVtYmFyZ28gcG9kZXLDoSBzZXIgbWFudGlkbyBwb3IgYXTDqSAxICh1bSkgYW5vLCBwb2RlbmRvIHNlciBwcm9ycm9nYWRvIHBvciBpZ3VhbCBwZXLDrW9kbywgY29tIGEgbmVjZXNzaWRhZGUgZGUgYW5leGFyIGRvY3VtZW50b3MgY29tcHJvYmF0w7NyaW9zLiBPIHJlc3VtbyBlIG9zIG1ldGFkYWRvcyBkZXNjcml0aXZvcyBzZXLDo28gZGlzcG9uaWJpbGl6YWRvcyBubyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCLgpPIGRlcMOzc2l0byBkbyB0cmFiYWxobyDDqSBvYnJpZ2F0w7NyaW8sIGluZGVwZW5kZW50ZSBkbyBlbWJhcmdvLgpRdWFuZG8gZW1iYXJnYWRvLCBvIHRyYWJhbGhvIHBlcm1hbmVjZXLDoSBpbmRpc3BvbsOtdmVsIGVucXVhbnRvIHZpZ29yYXIgYXMgcmVzdHJpw6fDtWVzLiBQYXNzYWRvIG8gcGVyw61vZG8gZG8gZW1iYXJnbywgbyB0cmFiYWxobyBzZXLDoSBhdXRvbWF0aWNhbWVudGUgZGlzcG9uaWJpbGl6YWRvIG5vIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEIuIAo=Repositório InstitucionalPUB |
dc.title.pt_BR.fl_str_mv |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
title |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
spellingShingle |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders Pimentel, Levi da Costa CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Inteligência artificial Medidores inteligentes Redes Neurais Artificiais (RNA) Redes elétricas inteligentes Detecção e correção de outliers Autoencoders Artificial intelligence Smart meters Artificial Neural Networks (ANN) Smart grids Outlier detection and correction |
title_short |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
title_full |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
title_fullStr |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
title_full_unstemmed |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
title_sort |
Detecção e correção de outliers em curvas de demanda de energia utilizando redes neurais artificiais autoencoders |
author |
Pimentel, Levi da Costa |
author_facet |
Pimentel, Levi da Costa |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Villanueva, Juan Maurício Moises |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1446817462218646 |
dc.contributor.authorID.fl_str_mv |
09820008476 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/3626944186255089 |
dc.contributor.author.fl_str_mv |
Pimentel, Levi da Costa |
contributor_str_mv |
Villanueva, Juan Maurício Moises |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Inteligência artificial Medidores inteligentes Redes Neurais Artificiais (RNA) Redes elétricas inteligentes Detecção e correção de outliers Autoencoders Artificial intelligence Smart meters Artificial Neural Networks (ANN) Smart grids Outlier detection and correction |
dc.subject.por.fl_str_mv |
Inteligência artificial Medidores inteligentes Redes Neurais Artificiais (RNA) Redes elétricas inteligentes Detecção e correção de outliers Autoencoders Artificial intelligence Smart meters Artificial Neural Networks (ANN) Smart grids Outlier detection and correction |
description |
Um dos principais problemas encontrados em Smart Grids é a ocorrência de outliers, que podem corromper dados, modificando então as informações trazidas por eles, dificultando a tomada de decisão com base nestas informações por parte dos operadores do sistema elétrico. Portanto, este trabalho propõe uma metodologia integrada de detecção e correção de outliers, baseada em redes neurais artificiais. Mais especificamente, foi desenvolvido um sistema de detecção baseado em Autoencoders, com auxílio de uma camada softmax, e um sistema de correção baseado em Autoencoders. A metodologia proposta foi submetida a diversos cenários, utilizando dados de uma subestação real, onde avalia-se a influência da variação do número de outliers presentes no banco de dados, assim como da variação da amplitude destes, sobre o funcionamento dos algoritmos. Nos testes conduzidos, a técnica de detecção chegou a alcançar Acurácia e F-score superiores a 99,7% e 97,4%, respectivamente. A técnica de correção chegou a obter erro percentual absoluto médio MAPE de 1,42%, enquanto a raiz do erro médio quadrático se manteve, na maioria dos cenários avaliados, inferior a 0,15 MW, valor que representa cerca de 1,7% do valor máximo de potência disponível no banco de dados. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-06-01T10:43:11Z |
dc.date.available.fl_str_mv |
2023-04-17 2023-06-01T10:43:11Z |
dc.date.issued.fl_str_mv |
2023-03-30 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpb.br/jspui/handle/123456789/27059 |
url |
https://repositorio.ufpb.br/jspui/handle/123456789/27059 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
Attribution-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal da Paraíba |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFPB |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Engenharia Elétrica |
publisher.none.fl_str_mv |
Universidade Federal da Paraíba |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPB instname:Universidade Federal da Paraíba (UFPB) instacron:UFPB |
instname_str |
Universidade Federal da Paraíba (UFPB) |
instacron_str |
UFPB |
institution |
UFPB |
reponame_str |
Repositório Institucional da UFPB |
collection |
Repositório Institucional da UFPB |
bitstream.url.fl_str_mv |
https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/4/LeviDaCostaPimentel_Dissert.pdf.txt https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/3/license.txt https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/2/license_rdf https://repositorio.ufpb.br/jspui/bitstream/123456789/27059/1/LeviDaCostaPimentel_Dissert.pdf |
bitstream.checksum.fl_str_mv |
ccfa1976910ea8bdf7f97f1eabb2ed53 e20ac18e101915e6935b82a641b985c0 c4c98de35c20c53220c07884f4def27c 378aa745c41b98f24242f595b728207f |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
|
repository.mail.fl_str_mv |
|
_version_ |
1777562293040578560 |