Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial

Detalhes bibliográficos
Autor(a) principal: Calça, Marcus Vinícius Contes
Data de Publicação: 2022
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UNESP
Texto Completo: http://hdl.handle.net/11449/239645
Resumo: A radiação solar de ondas curtas que incide sob a superfície terrestre é composta espectralmente pelas componentes ultravioleta (290 a 400nm), visível (400 a 700nm) e infravermelha (700 a 4000nm). O conhecimento sobre a sua disponibilidade na superfície terrestre permite que órgãos públicos e instituições acadêmicas planejem adequadamente projetos energéticos no Brasil. Para isso, se torna necessário a implantação de sistemas terrestres de medição, que compreendem, naturalmente, valores errôneos causados por adversidades técnicas e operacionais. Neste sentido, o objetivo deste estudo foi implementar um procedimento de controle de qualidade, para identificar valores errôneos, e outro para preencher lacunas das irradiâncias solares ultravioleta, visível e infravermelha sub-horárias (W/m²), coletadas em Botucatu (SP) - Brasil no período de 2001 a 2006. O procedimento de controle de qualidade foi criado em função de três princípios físicos e um intervalo de confiança estatística. Em sequência, o procedimento de preenchimento de lacunas foi implementado em função de um modelo de Machine Learning e avaliado a partir do coeficiente de determinação (R²), erro médio absoluto (MAE e rMAE), e da raiz do erro quadrático médio (RMSE e rRMSE). Foi possível detectar a partir do procedimento de controle de qualidade 1,003%, 0,989% e 0,806% de medições errôneas e isoladas das irradiâncias solares ultravioleta, infravermelha e visível, respectivamente, com relação aos totais medidos. O modelo de preenchimento de lacunas obteve métricas, com relação a sua capacidade de estimar valores, de R² de 0,99565, rMAE de 2,849% e rRMSE de 4,821% para a irradiância solar infravermelha, bem como R² de 0,99562, rMAE de 2,886% e rRMSE de 4,875% para a visível e, por fim, R² de 0,99137, rMAE de 3,923% e rRMSE de 6,889% para a ultravioleta. A partir deste estudo, foi possível avaliar que o primeiro e o terceiro princípio físico foram o mais e o menos restritivos do controle de qualidade, respectivamente, ao detectar medidas errôneas e isoladas, consideradas outliers por se afastarem consideravelmente das demais. Constatou-se, também, que os modelos de Machine Learning obtiveram resultados semelhantes as modelagens de Escobedo et al. (2011) para resoluções temporais horárias e diárias, o que possibilita utilizá-los para preencher lacunas das irradiâncias solares espectrais.
id UNSP_0abd523cce59bb030d511ff72135948b
oai_identifier_str oai:repositorio.unesp.br:11449/239645
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificialOutlier detection and gap filling in solar spectral irradiance measurements using physical checks and artificial intelligence techniquesRadiação solar espectralDetecção de medições errôneasControle de qualidadeModelagemSpectral solar radiationDetection of erroneous measurementsQuality controlMachine learningModelingA radiação solar de ondas curtas que incide sob a superfície terrestre é composta espectralmente pelas componentes ultravioleta (290 a 400nm), visível (400 a 700nm) e infravermelha (700 a 4000nm). O conhecimento sobre a sua disponibilidade na superfície terrestre permite que órgãos públicos e instituições acadêmicas planejem adequadamente projetos energéticos no Brasil. Para isso, se torna necessário a implantação de sistemas terrestres de medição, que compreendem, naturalmente, valores errôneos causados por adversidades técnicas e operacionais. Neste sentido, o objetivo deste estudo foi implementar um procedimento de controle de qualidade, para identificar valores errôneos, e outro para preencher lacunas das irradiâncias solares ultravioleta, visível e infravermelha sub-horárias (W/m²), coletadas em Botucatu (SP) - Brasil no período de 2001 a 2006. O procedimento de controle de qualidade foi criado em função de três princípios físicos e um intervalo de confiança estatística. Em sequência, o procedimento de preenchimento de lacunas foi implementado em função de um modelo de Machine Learning e avaliado a partir do coeficiente de determinação (R²), erro médio absoluto (MAE e rMAE), e da raiz do erro quadrático médio (RMSE e rRMSE). Foi possível detectar a partir do procedimento de controle de qualidade 1,003%, 0,989% e 0,806% de medições errôneas e isoladas das irradiâncias solares ultravioleta, infravermelha e visível, respectivamente, com relação aos totais medidos. O modelo de preenchimento de lacunas obteve métricas, com relação a sua capacidade de estimar valores, de R² de 0,99565, rMAE de 2,849% e rRMSE de 4,821% para a irradiância solar infravermelha, bem como R² de 0,99562, rMAE de 2,886% e rRMSE de 4,875% para a visível e, por fim, R² de 0,99137, rMAE de 3,923% e rRMSE de 6,889% para a ultravioleta. A partir deste estudo, foi possível avaliar que o primeiro e o terceiro princípio físico foram o mais e o menos restritivos do controle de qualidade, respectivamente, ao detectar medidas errôneas e isoladas, consideradas outliers por se afastarem consideravelmente das demais. Constatou-se, também, que os modelos de Machine Learning obtiveram resultados semelhantes as modelagens de Escobedo et al. (2011) para resoluções temporais horárias e diárias, o que possibilita utilizá-los para preencher lacunas das irradiâncias solares espectrais.The shortwave solar radiation that falls on the Earth's surface is spectrally composed of ultraviolet (290 to 400nm), photosynthetically active (400 to 700nm) and near infrared (700 to 4000nm) components. The knowledge about its availability on the Earth's surface allows public agencies and academic institutions to plan energy projects in Brazil. For this, it is necessary to implement terrestrial measurement systems, which naturally include erroneous values caused by technical and operational adversities. In this sense, the aim of this study was to implement a quality control procedure, to identify erroneous values, and to fill gaps in sub hourly ultraviolet, photosynthetically active, and near-infrared solar irradiance (Wm-2 ), collected in Botucatu (SP) - Brazil from 2001 to 2006. The quality control procedure was created based on three physical principles and a statistical confidence interval. The gap-filling procedure was implemented based on a Machine Learning model and evaluated based on the coefficient of determination (R2), mean absolute error (MAE and rMAE), and the root mean squared error (RMSE and rRMSE). It was possible to detect from the quality control procedure 1.003%, 0.989% and 0.806% of erroneous and isolated measurements of ultraviolet, near infrared and photosynthetically active solar irradiances, respectively, in relation to the total measured. The gap-filling model obtained metrics, regarding its ability to estimate values, of R2 of 0.99565, rMAE of 2.849% and rRMSE of 4.821% for near infrared, as well as R2 of 0.99562, rMAE of 2.886% and rRMSE of 4.875% for the photosynthetically active and R2 of 0.99137, rMAE of 3.923% and rRMSE of 6.889% for the ultraviolet solar irradiances. From this study it was possible to assess that the first physical principle was the most restrictive, and the third physical principle the least restrictive, of quality control, when detecting erroneous measurements. All measurements flagged as erroneous or isolated are considered outliers because they are considerably different from the others. Finally, it was found that the gap-filling models obtained results similar to the models by Escobedo et al. (2011) for hourly and daily temporal resolutions, which makes it possible to use them to estimate measurements of spectral solar irradiance.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)001Universidade Estadual Paulista (Unesp)Dal Pai, AlexandreUniversidade Estadual Paulista (Unesp)Calça, Marcus Vinícius Contes2023-02-22T17:48:10Z2023-02-22T17:48:10Z2022-12-12info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttp://hdl.handle.net/11449/23964533004064021P7porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-05-02T20:24:50Zoai:repositorio.unesp.br:11449/239645Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestopendoar:29462024-08-05T20:13:19.454127Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
Outlier detection and gap filling in solar spectral irradiance measurements using physical checks and artificial intelligence techniques
title Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
spellingShingle Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
Calça, Marcus Vinícius Contes
Radiação solar espectral
Detecção de medições errôneas
Controle de qualidade
Modelagem
Spectral solar radiation
Detection of erroneous measurements
Quality control
Machine learning
Modeling
title_short Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
title_full Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
title_fullStr Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
title_full_unstemmed Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
title_sort Detecção de outliers e preenchimento de lacunas em medidas das irradiâncias solares espectrais usando princípios físicos e técnicas de inteligência artificial
author Calça, Marcus Vinícius Contes
author_facet Calça, Marcus Vinícius Contes
author_role author
dc.contributor.none.fl_str_mv Dal Pai, Alexandre
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Calça, Marcus Vinícius Contes
dc.subject.por.fl_str_mv Radiação solar espectral
Detecção de medições errôneas
Controle de qualidade
Modelagem
Spectral solar radiation
Detection of erroneous measurements
Quality control
Machine learning
Modeling
topic Radiação solar espectral
Detecção de medições errôneas
Controle de qualidade
Modelagem
Spectral solar radiation
Detection of erroneous measurements
Quality control
Machine learning
Modeling
description A radiação solar de ondas curtas que incide sob a superfície terrestre é composta espectralmente pelas componentes ultravioleta (290 a 400nm), visível (400 a 700nm) e infravermelha (700 a 4000nm). O conhecimento sobre a sua disponibilidade na superfície terrestre permite que órgãos públicos e instituições acadêmicas planejem adequadamente projetos energéticos no Brasil. Para isso, se torna necessário a implantação de sistemas terrestres de medição, que compreendem, naturalmente, valores errôneos causados por adversidades técnicas e operacionais. Neste sentido, o objetivo deste estudo foi implementar um procedimento de controle de qualidade, para identificar valores errôneos, e outro para preencher lacunas das irradiâncias solares ultravioleta, visível e infravermelha sub-horárias (W/m²), coletadas em Botucatu (SP) - Brasil no período de 2001 a 2006. O procedimento de controle de qualidade foi criado em função de três princípios físicos e um intervalo de confiança estatística. Em sequência, o procedimento de preenchimento de lacunas foi implementado em função de um modelo de Machine Learning e avaliado a partir do coeficiente de determinação (R²), erro médio absoluto (MAE e rMAE), e da raiz do erro quadrático médio (RMSE e rRMSE). Foi possível detectar a partir do procedimento de controle de qualidade 1,003%, 0,989% e 0,806% de medições errôneas e isoladas das irradiâncias solares ultravioleta, infravermelha e visível, respectivamente, com relação aos totais medidos. O modelo de preenchimento de lacunas obteve métricas, com relação a sua capacidade de estimar valores, de R² de 0,99565, rMAE de 2,849% e rRMSE de 4,821% para a irradiância solar infravermelha, bem como R² de 0,99562, rMAE de 2,886% e rRMSE de 4,875% para a visível e, por fim, R² de 0,99137, rMAE de 3,923% e rRMSE de 6,889% para a ultravioleta. A partir deste estudo, foi possível avaliar que o primeiro e o terceiro princípio físico foram o mais e o menos restritivos do controle de qualidade, respectivamente, ao detectar medidas errôneas e isoladas, consideradas outliers por se afastarem consideravelmente das demais. Constatou-se, também, que os modelos de Machine Learning obtiveram resultados semelhantes as modelagens de Escobedo et al. (2011) para resoluções temporais horárias e diárias, o que possibilita utilizá-los para preencher lacunas das irradiâncias solares espectrais.
publishDate 2022
dc.date.none.fl_str_mv 2022-12-12
2023-02-22T17:48:10Z
2023-02-22T17:48:10Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/239645
33004064021P7
url http://hdl.handle.net/11449/239645
identifier_str_mv 33004064021P7
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv
_version_ 1808129174187016192